前方路緣觀察系統中的增強的俯瞰視圖生成技術方案

本發明專利技術公開了前方路緣觀察系統中的增強的俯瞰視圖生成。一種用于利用來自左前部和右前部照相機的圖像來建立車輛前方區域的增強的虛擬俯瞰視圖的系統和方法。所述增強的虛擬俯瞰視圖不僅為駕駛員提供從原始照相機圖像無法直接得到的俯瞰視圖立體圖，而且移除了廣角鏡頭圖像中固有的失真和夸張的立體效果。所述增強的虛擬俯瞰視圖還包括對三種類型的問題的修正，這三種類型的問題典型地出現在去扭曲圖像中——包括車身部分到圖像內的虛假突出物、圖像的邊緣周圍的低分辨率和噪聲以及地平面以上對象的“雙影”效果。

【技術實現步驟摘要】
前方路緣觀察系統中的增強的俯瞰視圖生成相關申請交叉引用本申請要求于2013年5月23日提交的名稱為“前方路緣觀察系統中的增強的俯瞰視圖生成”的美國臨時專利申請序列號61/826,904的優先權日的利益。
本專利技術總體上涉及車輛前方的路緣和其他結構的增強的俯瞰視圖圖像的顯示，更特別地，涉及用于利用來自左前部和右前部照相機的圖像合成車輛前方區域的增強的虛擬俯瞰視圖的系統和方法，其中，增強的虛擬俯瞰視圖包括對到視圖內的虛假車身部分突出物、視圖邊緣中的低分辨率和圖像噪聲以及地面以上對象的雙重成像的修正。
技術介紹
近些年來，車輛越來越普遍地配備前視照相機。來自前視照相機的圖像被用于各種應用，包括車道偏離警告和碰撞警告。在這些應用中，照相機圖像并不顯示給車輛駕駛員，而是相反地，圖像由車載計算機使用圖像處理技術進行分析，從這些圖像中檢測出車道邊界和潛在障礙物，并在需要時向駕駛員發出警告。盡管新技術的出現使得緊湊、可靠和便宜的數碼照相機變為現實，但是長久以來的問題繼續困擾駕駛員。該問題是，在停車時，駕駛員無法精確判斷車輛前部相對于障礙物(例如路緣)的位置。當駛入停車空間時，由于車輛前部的阻擋，駕駛員固有地無法看到路緣，因此駕駛員不得不估計要向前開多遠——以期望不會碰到路緣。這種判斷能夠是困難的，因為其依賴于過去的經驗，周邊視覺提示以及其他間接信息。如果駕駛員錯誤地判斷前方間隙，車輛可能無法足夠遠地駛入停車空間，或者更糟的是，車輛前部可能碰到路緣，導致車輛損壞。在停車操縱過程中，駕駛員通常專注于停車的許多個面，而可能沒有想到手動打開前方路緣觀察顯示器。然而，如果前方路緣觀察系統基于停車操縱的環境自動顯示最合適的前方圖像，大多數駕駛員將發現該視覺信息是有幫助的——特別是如果該系統不僅選擇了對駕駛員提供最有幫助的一個或更多個圖像，而且還提供增強的圖像，該增強的圖像具有對固有地存在于廣角鏡頭圖像中的視覺失真的修正。需要一種前視停車輔助系統，其利用車輛前方的路緣和其他結構的可用圖像，并將能使駕駛員對車輛前部相對于路緣或其他前方對象精確定位的優化圖像提供給駕駛員。
技術實現思路
根據本專利技術的教導，系統和方法被公開用于利用來自左前方和右前方照相機的圖像建立車輛前方區域的增強的虛擬俯瞰視圖。所述增強的虛擬俯瞰視圖不僅為駕駛員提供從原始照相機圖像無法直接得到的俯瞰立體圖，而且移除了廣角鏡頭圖像中固有的畸變和夸張的立體效果。所述增強的虛擬俯瞰視圖還包括對三種類型的問題的修正，這些問題典型地出現在去扭曲圖像中——包括車身部分到圖像內的虛假突出物、圖像邊緣周圍的低分辨率和圖像/視頻噪聲以及地平面以上對象的“雙影”效果。方案1、一種用于提供車輛前方區域的增強的俯瞰觀察的系統，所述系統包括：安裝在車輛的左前部處的第一照相機；安裝在車輛的右前部處的第二照相機；與所述第一和第二照相機通信的圖像采集模塊，所述圖像采集模塊接收來自所述照相機的原始圖像，并且來自所述照相機的原始圖像具有大致前視圖立體圖；包括存儲模塊的處理器，所述處理器配置為提供車輛前方區域的虛擬俯瞰視圖，其中，所述虛擬俯瞰視圖由來自所述照相機的原始圖像合成，并且所述虛擬俯瞰視圖包括對車身部分到所述視圖內的虛假突出物、所述視圖的邊緣周圍的低分辨率和噪聲以及地平面以上對象的雙影效果的修正；以及車輛的駕駛座區域中的顯示單元，用于顯示來自所述處理器的虛擬俯瞰視圖，用于由車輛駕駛員觀看。方案2、根據方案1所述的系統，其中，對車身部分到視圖內的虛假突出物的修正包括：識別所述虛擬俯瞰視圖中的遮蔽區域，其中所述遮蔽區域為所述虛擬俯瞰視圖中的車身部分虛假地展現為向前延伸過遠的區域，并且所述遮蔽區域利用基于已知車輛幾何尺寸和照相機位置信息的計算被識別。方案3、根據方案2所述的系統，其中，所述遮蔽區域被合成地重新紋理化，以展現為所述虛擬俯瞰視圖中的地面，包括利用空間填充技術，其中，所述遮蔽區域基于來自所述原始圖像的周圍紋理和結構并利用時間填充技術(temporalfillingtechniques)而被重新紋理化，其中，來自剛好在所述原始圖像中的遮蔽區域外部的實際像素基于車輛運動被置換到所述虛擬俯瞰視圖中的遮蔽區域內。方案4、根據方案1所述的系統，其中，對所述視圖的邊緣周圍的低分辨率和噪聲的修正包括：識別所述虛擬俯瞰視圖的左、右和上周邊附近的低分辨率區域，其中，所述低分辨率區域為所述虛擬俯瞰視圖中的圖像分辨率由于去扭曲(de-warp)而導致低的區域，并且進一步包括利用空間分辨率增強修正所述低分辨率區域，其中，空間分辨率增強包括：利用低分辨率區域內部的顏色和強度組合所述低分辨率區域外部的表面紋理。方案5、根據方案4所述的系統，其中，修正所述低分辨率區域進一步包括：利用時間分辨率增強，其中，時間分辨率增強包括：基于車輛運動將來自剛好在所述原始圖像中的低分辨率區域外部的實際像素置換到所述虛擬俯瞰視圖中的低分辨率區域內。方案6、根據方案1所述的系統，其中，對地平面以上對象的雙影效果的修正包括：利用從運動恢復結構技術(structure-from-motiontechniques)，該技術利用一系列所述原始圖像和來自車輛雷達或激光雷達系統的對象數據以構建車輛前方的對象的三維模型，并且所述三維模型用于消除所述虛擬俯瞰視圖中的雙重成像。方案7、根據方案1所述的系統，其中，對地平面以上對象的雙影效果的修正包括：分析所述虛擬俯瞰視圖以檢測所述雙影效果，對于成對出現的特征假設地平面以上的新高度，并基于所述新高度重新運行去扭曲計算。方案8、根據方案1所述的系統，其中，對地平面以上對象的雙影效果的修正包括：分析所述虛擬俯瞰視圖以檢測所述雙影效果，在合并之前找到來自所述第一和第二照相機的原始圖像中的共同特征點，以及利用圖像配準技術轉換所述原始圖像，使得所述共同特征點在所述虛擬俯瞰視圖中對齊。方案9、根據方案1所述的系統，其中，所述虛擬俯瞰視圖顯示于所述顯示單元上的第一視窗中，并且鳥瞰視圖顯示于所述顯示單元上的第二視窗中，其中，所述第一視窗大于所述第二視窗，并且所述鳥瞰視圖包括位于中心的車輛示圖，具有位于車輛示圖前方的前視圖圖像以及車輛示圖后方的后視圖圖像。方案10、根據方案1所述的系統，其中，所述虛擬俯瞰視圖包括車輛前方的路緣是否將與車輛的低懸車身部件相接觸的指示，并且如果確定該車輛將接觸路緣，則提供警告。方案11、一種用于提供車輛前方區域的增強的俯瞰觀察的方法，所述方法包括：提供來自車輛上的安裝在前部的照相機的圖像，其中，所述圖像具有大致前視圖立體圖；由來自所述照相機的圖像合成虛擬俯瞰視圖；利用微處理器在所述虛擬俯瞰視圖上執行去扭曲計算，以產生去扭曲的虛擬俯瞰視圖；增強所述去扭曲的虛擬俯瞰視圖，以產生增強的虛擬俯瞰視圖，包括對車身部分到所述視圖內的虛假突出物的修正，修正所述視圖的邊緣周圍的低分辨率和噪聲，并修正地平面以上對象的雙影效果；以及在顯示設備上顯示所述增強的虛擬俯瞰視圖，用于由駕駛員觀看。方案12、根據方案11所述的方法，其中，對車身部分到所述視圖內的虛假突出物的修正包括：識別所述虛擬俯瞰視圖中的遮蔽區域，其中，所述遮蔽區域為所述虛擬俯瞰視圖中的車身部分虛假地展現為向前延伸過遠的區域，并且所述遮蔽區域利用基于已知本文檔來自技高網...

【技術保護點】
一種用于提供車輛前方區域的增強的俯瞰觀察的系統，所述系統包括：安裝在車輛的左前部處的第一照相機；安裝在車輛的右前部處的第二照相機；與所述第一和第二照相機通信的圖像采集模塊，所述圖像采集模塊接收來自所述照相機的原始圖像，并且來自所述照相機的原始圖像具有大致前視圖立體圖；包括存儲模塊的處理器，所述處理器配置為提供車輛前方區域的虛擬俯瞰視圖，其中，所述虛擬俯瞰視圖由來自所述照相機的原始圖像合成，并且所述虛擬俯瞰視圖包括對車身部分到所述視圖內的虛假突出物、所述視圖的邊緣周圍的低分辨率和噪聲以及地平面以上對象的雙影效果的修正；以及車輛的駕駛座區域中的顯示單元，用于顯示來自所述處理器的虛擬俯瞰視圖，用于由車輛駕駛員觀看。

【技術特征摘要】
2013.05.23 US 61/826904;2014.05.16 US 14/2805061.一種用于提供車輛前方區域的增強的俯瞰觀察的系統，所述系統包括：安裝在車輛的左前部處的第一照相機；安裝在車輛的右前部處的第二照相機；與所述第一和第二照相機通信的圖像采集模塊，所述圖像采集模塊接收來自所述照相機的原始圖像，并且來自所述照相機的原始圖像具有前視圖立體圖；包括存儲模塊的處理器，所述處理器配置為提供車輛前方區域的虛擬俯瞰視圖，其中，所述虛擬俯瞰視圖由來自所述照相機的原始圖像合成，并且所述虛擬俯瞰視圖包括對車身部分到所述視圖內的虛假突出物、所述視圖的邊緣周圍的低分辨率和噪聲以及地平面以上對象的雙影效果的修正；以及車輛的駕駛座區域中的顯示單元，用于顯示來自所述處理器的虛擬俯瞰視圖，用于由車輛駕駛員觀看,其中，對地平面以上對象的雙影效果的修正包括：利用從運動恢復結構技術，該技術利用一系列所述原始圖像和來自車輛雷達或激光雷達系統的對象數據以構建車輛前方的對象的三維模型，并且所述三維模型用于消除所述虛擬俯瞰視圖中的雙重成像。2.根據權利要求1所述的系統，其中，對車身部分到視圖內的虛假突出物的修正包括：識別所述虛擬俯瞰視圖中的遮蔽區域，其中所述遮蔽區域為所述虛擬俯瞰視圖中的車身部分虛假地展現為向前延伸過遠的區域，并且所述遮蔽區域利用基于已知車輛幾何尺寸和照相機位置信息的計算被識別。3.根據權利要求2所述的系統，其中，所述遮蔽區域被合成地重新紋理化，以展現為所述虛擬俯瞰視圖中的地面，包括利用空間填充技術，其中，所述遮蔽區域基于來自所述原始圖像的周圍紋理和結構并利用時間填充技術而被重新紋理化，其中，來自剛好在所述原始圖像中的遮蔽區域外部的實際像素基于車輛運動被置換到所述虛擬俯瞰視圖中的遮蔽區域內。4.根據權利要求1所述的系統，其中，對所述視圖的邊緣周圍的低分辨率和噪聲的修正包括：識別所述虛擬俯瞰視圖的左、右和上周邊附近的低分辨率區域，其中，所述低分辨率區域為所述虛擬俯瞰視圖中的圖像分辨率由于去扭曲而導致低的區域，并且進一步包括利用空間分辨率增強修正所述低分辨率區域，其中，空間分辨率增強包括：利用低分辨率區域內部的顏色和強度組合所述低分辨率區域外部的表面紋理。5.根據權利要求4所述的系統，其中，修正所述低分辨率區域進一步包括：利用時間分辨率增強，其中，時間分辨率增強包括：基于車輛運動將來自剛好在所述原始圖像中的低分辨率區域外部的實際像素置換到所述虛擬俯瞰視圖中的低分辨率區域內。6.根據權利要求1所述的系統，其中，對地平面以上對象的雙影效果的修正包括：分析所述虛擬俯瞰視圖以檢測所述雙影效果，對于成對出現的特征假設地平面以上的新高度，并基于所述新高度重新運行去扭曲計算。7.根據權利要求1所述的系統，其中，對地平面以上對象的雙影效果的修正包括：分析所述虛擬俯瞰視圖以檢測所述雙影效果，在合并之前找到來自所述第一和第二照相機的原始圖像中的共同特征點，以及利用圖像配準技術轉換所述原始圖像，使得所述共同特征點在所述虛擬俯瞰視圖中對齊。8.根據權利要求1所述的系統，其中，所述虛擬俯瞰視圖顯示于所述顯示單元上的第一視窗中，并且鳥瞰視圖顯示于所述顯示單元上的第二視窗中，其中，所述第一視窗大于所述第二視窗，并且所述鳥瞰視圖包括位于中心的車輛示圖，具有位于車輛示圖前方的前視圖圖像以及車輛示圖后方的后視圖圖像。9.根據權利要求1所述的系統，其中，所述虛擬俯瞰視圖包括車輛前方的路緣是否將與車輛的低懸車身部件相接觸的指示，并且如果確定該車輛將接觸路緣，則提供警告。10.一種用于提供車輛前方區域的增強的俯瞰觀察的方法，所述方法包括：提供來自車輛上的安裝在前部的照相機的圖像，其中，所述圖像具有前視圖立體圖；由來自所述照相機的圖像合成虛擬俯瞰視圖；利用微處理器在所述虛擬俯瞰視圖上執行去扭曲計算，以產生去扭曲的虛擬俯瞰視圖；增強所述去扭曲的虛擬俯瞰視圖，以產生增強的虛擬俯瞰視圖，包括對車身部分到所述視圖內的虛假突出物的修正，修...

【專利技術屬性】
技術研發人員：W·張，J·王，K·S·利貝克，J·S·皮亞塞基，B·B·利特庫希，R·M·弗雷克斯，
申請(專利權)人：通用汽車環球科技運作有限責任公司，
類型：發明
國別省市：美國;US