本發明專利技術涉及一種改進的用于借助于神經網絡檢測對象(16)的方法，所述神經網絡在輸入端被提供至少一個原始第一光流圖，該原始第一光流圖通過分析由圖像采集設備(14)在較早時刻在第一位置(P1)捕獲的第一圖像與由所述圖像采集設備(14)在當前時刻在第二位置(P2)捕獲的連續的第二圖像之間的內容差異來表示對場景中的移動對象(16)的計算機化跟蹤，其特征在于，該方法包括通過使用該圖像采集設備(14)的自我運動估計信息來校正該原始光流圖。
【技術實現步驟摘要】
【國外來華專利技術】
[]本專利技術涉及借助于神經網絡檢測對象的領域，并且更具體地涉及一種改進的用于借助于神經網絡檢測對象的方法。本專利技術特別地被設計成由配備有車輛、特別是機動車輛的計算機來實施，該車輛包括駕駛輔助系統。
技術介紹
0、[
技術介紹
]
1、眾所周知，在機動車輛上配備駕駛輔助系統，通常縮寫為adas，即“高級駕駛員輔助系統”。
2、眾所周知，這種輔助系統包括至少一個圖像采集設備，該至少一個圖像采集設備安裝在車輛上并且使得可以生成表示車輛環境的一系列圖像。
3、圖像采集設備例如是激光雷達(lidar，光檢測和測距的縮寫)、相機或雷達。
4、計算機利用所捕獲的圖像來輔助駕駛員，例如通過檢測諸如道路上的行人、靜止車輛或任何其他對象等“對象”，以及通過計算例如與所檢測到的對象發生碰撞之前的時間。
5、由圖像采集設備捕獲的圖像所給出的信息使得可以實施同時定位與地圖構建(縮寫為slam，即同時定位與地圖構建)，以便使得可以同時構建和豐富表示機動車輛環境的場景，并且還使得可以在場景中定位機動車輛。
6、因此，神經網絡(也縮寫為cnn，即卷積神經網絡)的使用是眾所周知的。
7、神經網絡用于執行場景感知功能并且用于提供關于車輛環境中存在的各種對象的信息。
8、神經網絡特別用于提供關于場景中的對象的語義、檢測、運動和位置信息。
9、為此，應當通過在輸入端向神經網絡提供大量先前標注過的圖像以便教會神經網絡識別對象，來在學習模式下訓練神經網絡。
<
p>10、一旦已經訓練好了神經網絡，就可以在檢測模式下使用神經網絡來檢測和識別對象。11、為此，向先前訓練好的神經網絡提供圖像，例如由安裝在機動車輛上的圖像采集設備捕獲的圖像。
12、因此，為神經網絡提供光流圖是眾所周知的。
13、光流圖通過分析連續視頻圖像之間的內容差異來描述和表示對移動對象的計算機化跟蹤。
14、計算機可以定位到標記單獨靜止圖像的邊界、邊緣和區域的參考系。
15、檢測它們的進展使得計算機能夠在時間和空間上跟蹤對象。
16、換言之，光流圖表示移動區域或移動對象在由圖像采集設備在較早時刻t-1在第一位置捕獲的第一圖像與由該圖像采集設備在當前時刻t在第二位置捕獲的連續的第二圖像之間的運動。
17、移動對象的運動方向和運動力例如由光流圖上的運動向量展示。
18、在本專利技術的領域(即駕駛輔助)中，圖像采集設備在運動方面與攜帶該圖像采集設備的機動車輛一致。
19、圖像采集設備附接至相機參考系，該相機參考系包括橫向軸線、豎直軸線和縱向軸線，該縱向軸線沿著車輛從后向前的主要移動方向延伸。
20、圖像采集設備的運動或其自我運動包括六個自由度，即橫向平移、從上到下的豎直平移、縱向平移、圍繞橫向軸線的旋轉(稱為俯仰)、圍繞豎直軸線的旋轉(稱為偏航)、以及圍繞縱向軸線的旋轉(稱為橫滾)。
21、在車輛的使用壽命期間，車輛和圖像采集設備將基本上沿車輛在道路上的主要行駛方向移動，即縱向平移。
22、因此，利用光流圖來訓練神經網絡，這些光流圖大部分對應于縱向平移的移動，并且少數對應于上述其他移動。
23、因此，神經網絡可以在車輛縱向平移移動時有效地檢測對象。
24、相反地，當車輛的運動包括縱向平移以外的組成部分時，神經網絡在檢測對象方面的效果會大打折扣，這些組成部分諸如對應于橫向平移的滑動、對應于從上到下平移并且對應于俯仰的減速帶、對應于偏航旋轉的急轉彎、對應于橫滾旋轉的坑洼、或者對應于俯仰旋轉的車輛的強加速度。
25、因此，觀察到神經網絡的性能受向其提供的數據的限制。
技術實現思路
0、[
技術實現思路
]
1、本專利技術旨在提出一種改進的用于借助于神經網絡檢測對象的方法，該方法提高了該神經網絡的性能，特別是在與除了沿車輛的主要行駛方向的縱向平移移動之外的車輛移動相對應的條件下。
2、此目的以及通過閱讀以下描述將變得顯而易見的其他目的利用一種改進的用于借助于神經網絡檢測對象的方法來實現，所述神經網絡在輸入端被提供至少一個原始第一光流圖，該原始第一光流圖通過分析由圖像采集設備在較早時刻在第一位置捕獲的第一圖像與由所述圖像采集設備在當前時刻在第二位置捕獲的連續的第二圖像之間的內容差異來表示對場景中的移動對象的計算機化跟蹤，其特征在于，該方法至少包括：
3、·估計該圖像采集設備在所述第一位置與所述第二位置之間的自我運動的三個平移參數和三個旋轉參數的第一步驟，這三個平移參數包括兩個次要平移參數和沿與該圖像采集設備的主要移動相對應的縱向軸線的一個主要平移參數，
4、·第二步驟，其包括估計第一旋轉矩陣和第二旋轉矩陣，該第一旋轉矩陣使得可以從該第一位置移動到第一虛擬校正位置，該第二旋轉矩陣使得可以從該第二位置移動到第二虛擬校正位置，從而使得能夠實現從該第一校正位置到該第二校正位置的移動的這兩個次要平移參數和這三個旋轉參數等于零，
5、·第三歸一化步驟，其包括計算經校正的第二光流圖，該經校正的第二光流圖是通過將該第一旋轉矩陣和該第二旋轉矩陣應用于該原始第一光流圖而獲得的，并且該經校正的第二光流圖表示對該第一校正位置與該第二校正位置之間的移動對象的計算機化跟蹤。
6、因此，根據本專利技術的方法使得可以獲得經校正的光流圖，這些經校正的光流圖忽略了圖像采集傳感器的寄生運動，諸如當圖像采集傳感器安裝在機動車輛上時的俯仰運動、橫滾運動和偏航運動。
7、根據單獨使用或組合使用的本專利技術的其他可選特征：
8、-該方法包括學習步驟，該學習步驟包括根據該方法的第三歸一化步驟向神經網絡提供多個經校正的光流圖，以便訓練所述神經網絡。此特征使得可以提高以這種方式被提供經校正的光流圖的神經網絡的學習性能；
9、-該方法包括檢測步驟，該檢測步驟包括根據該第三歸一化步驟向神經網絡提供多個經校正的光流圖，以便執行對象檢測。此特征使得可以提高以這種方式被提供經校正的光流圖的神經網絡的檢測性能。
10、本專利技術還涉及一種被配置為實施上述方法的計算機。
11、此外，本專利技術涉及一種機動車輛，該機動車輛包括上述類型的計算機、以及在運動方面與該機動車輛一致的至少一個圖像采集設備，該機動車輛主要沿著縱向軸線移動。
本文檔來自技高網...
【技術保護點】
1.一種改進的用于借助于神經網絡檢測對象(16)的方法，所述神經網絡在輸入端被提供至少一個原始第一光流圖(C1)，該原始第一光流圖通過分析由圖像采集設備(14)在較早時刻在第一位置(P1)捕獲的第一圖像與由所述圖像采集設備(14)在當前時刻在第二位置(P2)捕獲的連續的第二圖像之間的內容差異來表示對場景中的移動對象(16)的計算機化跟蹤，其特征在于，該方法至少包括：
2.如權利要求1所述的改進的用于借助于神經網絡檢測對象(16)的方法，其特征在于，該方法包括學習步驟，該學習步驟包括根據該方法的第三歸一化步驟向神經網絡提供多個經校正的光流圖(C2)，以便訓練所述神經網絡。
3.如以上權利要求中任一項所述的改進的用于借助于神經網絡檢測對象(16)的方法，其特征在于，該方法包括檢測步驟，該檢測步驟包括根據該第三歸一化步驟向神經網絡提供多個經校正的光流圖(C2)，以便執行對象檢測。
4.一種計算機(12)，被配置為實施如前述權利要求中任一項所述的方法。
5.一種機動車輛(10)，包括如權利要求4所述的計算機(12)以及在運動方面與該機動車輛(10)一致的至少一個圖像采集設備(14)，該機動車輛(10)主要沿著縱向軸線(Zc)移動。
...
【技術特征摘要】
【國外來華專利技術】
1.一種改進的用于借助于神經網絡檢測對象(16)的方法，所述神經網絡在輸入端被提供至少一個原始第一光流圖(c1)，該原始第一光流圖通過分析由圖像采集設備(14)在較早時刻在第一位置(p1)捕獲的第一圖像與由所述圖像采集設備(14)在當前時刻在第二位置(p2)捕獲的連續的第二圖像之間的內容差異來表示對場景中的移動對象(16)的計算機化跟蹤，其特征在于，該方法至少包括：
2.如權利要求1所述的改進的用于借助于神經網絡檢測對象(16)的方法，其特征在于，該方法包括學習步驟，該學習步驟包括根據該方法的第三歸一化步驟向神經網絡提供多個經...
【專利技術屬性】
技術研發人員：L·加爾西亞，H·喬喬伊，J·F·馬德里加爾迪亞茲，
申請(專利權)人：大陸智行德國有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。