提供了一種用于自動駕駛的感知方法，包括：基于第一圖像利用第一神經網絡獲得針對所述第一圖像的第一檢測結果，其中，所述第一圖像是針對目標區域獲取的；基于所述第一圖像利用至少一個第二神經網絡獲得針對所述第一圖像的至少一個第二檢測結果，其中，基于所述第一圖像生成至少一個額外輸入，所述至少一個額外輸入中的每個額外輸入至少表示所述第一圖像中的變化，并且基于所述至少一個額外輸入利用所述至少一個第二神經網絡獲得針對所述第一圖像的所述至少一個第二檢測結果；和將所述第一檢測結果和所述至少一個第二檢測結果融合，以獲得針對所述第一圖像的最終感知結果。這提高了感知的準確性和魯棒性，從而改善了自動駕駛的安全性。
【技術實現步驟摘要】
本專利技術涉及智慧交通領域，尤其涉及自動駕駛領域。
技術介紹
1、對環境的感知作為在自動駕駛領域中進行車輛定位、制定關于車輛駕駛路徑的決策、以及控制車輛來執行該決策的基礎，其準確性和魯棒性相當重要。準確和魯棒的環境感知可以提高自動駕駛的安全性，相反，則可能導致不可估量的交通事故。
2、隨著計算機視覺的發展，神經網絡已經被廣泛用于環境感知應用中。但是，由于訓練數據有限以及訓練數據分布的不平衡(長尾問題)，再加上當前神經網絡的參數有限，而現實世界中的數據是高維度的，因此，即使將神經網絡應用于環境感知，這仍然存在改進的余地。
3、當前為了增加自動駕駛的安全性，通常會添加冗余或者并行神經網絡，但是當前添加的冗余或者并行神經網絡通常與原神經網絡是相似的，導致它們可能在相似的情況下失敗(共因失效)，換言之，它們的失敗具有高相關性，因此還不能獲得滿意的效果。
技術實現思路
1、期望提供一種用于自動駕駛的感知方法和設備，其能夠提高環境感知的準確性和魯棒性，進而為安全的自動駕駛提供保障。
2、根據一個方面，提供一種用于自動駕駛的感知方法，包括：基于第一圖像利用第一神經網絡獲得針對所述第一圖像的第一檢測結果，其中，所述第一圖像是針對目標區域獲取的；基于所述第一圖像利用至少一個第二神經網絡獲得針對所述第一圖像的至少一個第二檢測結果，其中，獲得所述至少一個第二檢測結果包括：基于所述第一圖像生成至少一個額外輸入，所述至少一個額外輸入中的每個額外輸入至少表示所述第一圖像中的變化，并且基于所述至少一個額外輸入利用所述至少一個第二神經網絡獲得針對所述第一圖像的所述至少一個第二檢測結果；和將所述第一檢測結果和所述至少一個第二檢測結果融合，以獲得針對所述第一圖像的最終感知結果。
3、根據另一個方面，提供一種神經網絡的訓練方法，所述神經網絡用于在自動駕駛中進行感知并且包括第一神經網絡、至少一個第二神經網絡和融合模塊，所述融合模塊用于將所述第一神經網絡的輸出和所述至少一個第二神經網絡的輸出進行融合以獲得所述神經網絡的輸出，所述訓練方法包括：基于多個第一預訓練圖像和對每個第一預訓練圖像的對象標注結果對所述第一神經網絡進行預訓練以得到經預訓練的第一神經網絡，其中，所述第一神經網絡用于基于所述多個第一預訓練圖像中的每個第一預訓練圖像獲得相應的第一預訓練檢測結果；和基于多個第二預訓練圖像和對每個第二預訓練圖像的前景對象標注結果，對所述至少一個第二神經網絡中的每個第二神經網絡進行預訓練以得到經預訓練的至少一個第二神經網絡，其中，基于所述每個第二預訓練圖像生成至少一個額外預訓練輸入并基于所述至少一個額外預訓練輸入中的每個額外預訓練輸入和相應的第二神經網絡獲得相應的第二預訓練檢測結果，所述至少一個額外預訓練輸入至少表示所述第二預訓練圖像中的變化，所述第一預訓練圖像和所述第二預訓練圖像可以是相同或者不同的預訓練圖像。
4、根據另一個方面，提供一種用于自動駕駛的感知設備，包括：存儲器，和處理單元，其用于：基于第一圖像利用第一神經網絡獲得針對所述第一圖像的第一檢測結果，其中，所述第一圖像是針對目標區域獲取的；基于所述第一圖像利用至少一個第二神經網絡獲得針對所述第一圖像的至少一個第二檢測結果，其中，獲得所述至少一個第二檢測結果包括：基于所述第一圖像生成至少一個額外輸入，所述至少一個額外輸入中的每個額外輸入至少表示所述第一圖像中的變化，并且基于所述至少一個額外輸入利用所述至少一個第二神經網絡獲得針對所述第一圖像的所述至少一個第二檢測結果；和將所述第一檢測結果和所述至少一個第二檢測結果融合，以獲得針對所述第一圖像的最終感知結果。
5、根據另一個方面，提供一種自動駕駛系統，包括：相機，其用于獲取目標區域的第一圖像；和根據本專利技術各個實施例所述的用于自動駕駛的感知設備。
6、根據再一個方面，提供一種計算機可讀介質，存儲計算機程序，所述計算機程序當被處理器執行時，使得所述處理器執行根據本專利技術各個實施例所述的用于自動駕駛的感知方法或者根據本專利技術各個實施例所述的神經網絡的訓練方法。
7、根據本專利技術的各個方面的各個實施例，在原有的關注輸入圖像中的對象的檢測和分類的神經網絡(第一神經網絡)的基礎上添加關注該輸入圖像中出現的變化的至少一個并行神經網絡(至少一個第二神經網絡)，從不同層面對輸入圖像進行了檢測，一方面保留了對輸入圖像中的背景的敏感性，提供了對輸入圖像中的變化對象的敏感性，另一方面基于第二神經網絡的檢測結果能夠引入先驗知識(例如與分類無關的先驗知識)，由此，不僅減少了共因失效，提高了環境感知的準確性、可靠性和魯棒性，進而提高了自動駕駛的安全性，還增加了感知結果的可解釋性。
8、在一些實施例中，不同于原有的第一神經網絡關注輸入圖像中的對象的檢測和分類，該至少一個并行神經網絡關注對輸入圖像中的變化對象的檢測任務而不涉及分類，即該至少一個并行神經網絡檢測圖像中變化對象的存在，由此，即使在實際應用中輸入圖像中出現了在訓練數據集中未出現的物體或未出現過的類別，例如障礙物或施工區域，這樣的神經網絡依然能夠檢測到該物體的存在，并提示存在未知物體；這能夠進一步減少在不同的神經網絡之間發生共因失效，進而能夠進一步提高環境感知的準確性、可靠性和魯棒性。再者，僅僅在原有神經網絡上插入上述并行神經網絡即可實現根據本專利技術各個實施例的神經網絡結構，在使用中這也是方便的。
本文檔來自技高網...
【技術保護點】
1.一種用于自動駕駛的感知方法，包括：
2.根據權利要求1所述的感知方法，其中，
3.根據權利要求1所述的感知方法，其中，獲得所述至少一個第二檢測結果包括：
4.根據權利要求1所述的感知方法，其中，所述至少一個第二神經網絡中的每個第二神經網絡包括第二編碼器和第二解碼器，所述感知方法還包括：
5.根據根據權利要求4所述的感知方法，其中，所述第一神經網絡包括第一編碼器和第一解碼器，所述第一編碼器用于基于所述第一圖像確定第一特征圖，所述第一解碼器用于基于所述第一特征圖獲得所述第一檢測結果，其中，所述第一神經網絡的所述第一編碼器和所述至少一個第二神經網絡中的任意一個第二神經網絡的所述第二編碼器為同一編碼器或不同的編碼器。
6.根據權利要求1-3中任一項所述的感知方法，其中，所述至少一個額外輸入中的每個額外輸入表示所述第一圖像中的如下至少一種變化：
7.根據權利要求6所述的感知方法，其中，所述至少一個額外輸入包括第一額外輸入，所述第一額外輸入表示所述第一圖像與所述對應的參考圖像之間的變化，所述感知方法包括：
>8.根據權利要求6所述的感知方法，其中，所述至少一個額外輸入包括第一額外輸入，所述第一額外輸入表示所述第一圖像與所述對應的參考圖像之間的變化，所述感知方法還包括：9.根據權利要求8所述的感知方法，其中，通過使用至少如下算法之一基于所述第一圖像和所述對應的參考圖像生成所述第一額外輸入：
10.根據權利要求6所述的感知方法，其中，所述至少一個額外輸入包括第二額外輸入，所述第二額外輸入表示所述第一圖像中的各個區域之間的變化，所述感知方法還包括：
11.根據權利要求6所述的感知方法，其中，所述至少一個額外輸入包括第三額外輸入，所述第三額外輸入表示所述第一圖像與所述第二圖像之間的變化，所述感知方法還包括：
12.根據權利要求1-3中任一項所述的感知方法，其中，所述第一神經網絡和所述至少一個第二神經網絡中的任意一個第二神經網絡的網絡結構不同和/或通過不同的訓練數據獲取。
13.根據權利要求12所述的感知方法，其中，
14.根據權利要求2所述的感知方法，其中，所述第一檢測結果至少包括對所述目標區域中的所述對象進行檢測的檢測結果，并且所述至少一個第二檢測結果中的每個第二檢測結果包括對所述目標區域中的所述變化對象進行檢測的檢測結果。
15.根據權利要求14所述的感知方法，其中，所述第一檢測結果還包括對所述目標區域中的所述對象進行分類的分類結果。
16.根據權利要求14所述的感知方法，其中，將所述第一檢測結果和所述至少一個第二檢測結果融合包括：
17.一種神經網絡的訓練方法，所述神經網絡用于在自動駕駛中進行感知并且包括第一神經網絡、至少一個第二神經網絡和融合模塊，所述融合模塊用于將所述第一神經網絡的輸出和所述至少一個第二神經網絡的輸出進行融合以獲得所述神經網絡的輸出，所述訓練方法包括：
18.根據權利要求17所述的訓練方法，其中，所述融合模塊用于基于有參模型將所述第一神經網絡的輸出和所述至少一個第二神經網絡的輸出進行融合，所述訓練方法還包括：
19.根據權利要求18所述的訓練方法，其中，所述至少一個額外預訓練輸入中的每個額外預訓練輸入表示相應的第二預訓練圖像中的如下至少一種變化：
20.根據權利要求19所述的訓練方法，其中，所述至少一個額外預訓練輸入包括第一額外預訓練輸入，所述第一額外預訓練輸入表示相應的第二預訓練圖像與對應的第二參考圖像之間的變化并且用于訓練所述至少一個第二神經網絡中的特定第二神經網絡，所述至少一個第二神經網絡中的每個第二神經網絡包括第二編碼器和第二解碼器，對所述特定第二神經網絡進行預訓練包括：
21.根據權利要求20所述的訓練方法，其中，基于多幅第一訓練圖像和對所述多幅第一訓練圖像中每幅第一訓練圖像的對象標注結果以得到經訓練的所述神經網絡包括：
22.根據權利要求21所述的訓練方法，其中，所述多幅第一訓練圖像和所述對應的第一參考圖像通過以下步驟獲?。?/p>
23.根據權利要求19所述的訓練方法，其中，所述第一神經網絡包括第一編碼器和第一解碼器，所述第一編碼器用于基于輸入圖像提取第一特征圖，所述第一解碼器用于基于所述第一特征圖獲得第一檢測結果，作為所述第一神經網絡的輸出；
24.根據權利要求18所述的訓練方法，其中，所述有參模型包括多層感知機或門控循環單元。
25.一種用于自動駕駛的感知設備，包括：
26.一種自動駕駛系統，包括：
...
【技術特征摘要】
1.一種用于自動駕駛的感知方法，包括：
2.根據權利要求1所述的感知方法，其中，
3.根據權利要求1所述的感知方法，其中，獲得所述至少一個第二檢測結果包括：
4.根據權利要求1所述的感知方法，其中，所述至少一個第二神經網絡中的每個第二神經網絡包括第二編碼器和第二解碼器，所述感知方法還包括：
5.根據根據權利要求4所述的感知方法，其中，所述第一神經網絡包括第一編碼器和第一解碼器，所述第一編碼器用于基于所述第一圖像確定第一特征圖，所述第一解碼器用于基于所述第一特征圖獲得所述第一檢測結果，其中，所述第一神經網絡的所述第一編碼器和所述至少一個第二神經網絡中的任意一個第二神經網絡的所述第二編碼器為同一編碼器或不同的編碼器。
6.根據權利要求1-3中任一項所述的感知方法，其中，所述至少一個額外輸入中的每個額外輸入表示所述第一圖像中的如下至少一種變化：
7.根據權利要求6所述的感知方法，其中，所述至少一個額外輸入包括第一額外輸入，所述第一額外輸入表示所述第一圖像與所述對應的參考圖像之間的變化，所述感知方法包括：
8.根據權利要求6所述的感知方法，其中，所述至少一個額外輸入包括第一額外輸入，所述第一額外輸入表示所述第一圖像與所述對應的參考圖像之間的變化，所述感知方法還包括：
9.根據權利要求8所述的感知方法，其中，通過使用至少如下算法之一基于所述第一圖像和所述對應的參考圖像生成所述第一額外輸入：
10.根據權利要求6所述的感知方法，其中，所述至少一個額外輸入包括第二額外輸入，所述第二額外輸入表示所述第一圖像中的各個區域之間的變化，所述感知方法還包括：
11.根據權利要求6所述的感知方法，其中，所述至少一個額外輸入包括第三額外輸入，所述第三額外輸入表示所述第一圖像與所述第二圖像之間的變化，所述感知方法還包括：
12.根據權利要求1-3中任一項所述的感知方法，其中，所述第一神經網絡和所述至少一個第二神經網絡中的任意一個第二神經網絡的網絡結構不同和/或通過不同的訓練數據獲取。
13.根據權利要求12所述的感知方法，其中，
14.根據權利要求2所述的感知方法，其中，所述第一檢測結果至少包括對所述目標區域中的所述對象進行檢測的檢測結果，并且所述至少一個第二檢測結果中的每個第二檢測結果包括對所述目標區域中的所述變化對象進行檢測的檢測結果。
【專利技術屬性】
技術研發人員：李昕潤，王文夫，
申請(專利權)人：羅伯特·博世有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。