【技術實現步驟摘要】
本專利技術屬于具身機器人三維全景地圖與場景圖構建及更新，尤其涉及一種具身機器人三維場景圖構建方法及系統。
技術介紹
1、本部分的陳述僅僅是提供了與本專利技術相關的
技術介紹
信息，不必然構成在先技術。
2、近年來，大模型、具身智能技術突飛猛進，大量研究不斷涌現，ai賦能實體設備實現“具身智能”引起全球期待。場景理解技術賦予機器人環境感知能力，幫助機器人正確的認知世界并高效的執行任務。
3、具體而言，機器人場景理解指的是機器人處理來自多種類型傳感器的數據，提取有意義的語義信息，從而獲得對環境的綜合理解。能否充分理解復雜場景中的物體、物體間的關系甚至物體及人員間的關系，直接影響著具身機器人服務任務執行能力。
4、因此，提升具身機器人的環境感知和理解能力是具身機器人的重要研究方向之一，能夠促進具身機器人更好地適應多樣化、復雜化的服務場景，為人類提供更加智能、便捷的生活服務。
5、然而，目前的場景建圖技術通常依賴靜態環境假設，即假設環境中物體的位置和形態不會發生改變。但家庭場景中人員的存在會造成物體的變化，而目前的場景建圖技術通常難以處理該問題，導致所構建的場景地圖隨著時間的推移與現實誤差越來越大，直到無法使用。
6、因此，如何使具身機器人在場景中物體可能發生位置和狀態變化的半靜態場景中實現對所存儲三維全景地圖的更新和準確性維護是急需研究的關鍵問題。
7、專利技術人在研究中發現，相關的現有技術包括：
8、samuel?looper等人提出一種基于可變三維場景
9、edith?langer等人基于elasticfusion系統，結合了全局和局部方法的優勢，提出一種綜合語義和平面幾何信息的物體變化檢測算法，在室內環境的三維重建中有效地檢測新物體，利用三維語義信息確定的全局結構來建立候選對象。然后通過將孤立幾何與任務提供的參考重建進行比較，實現了半靜態環境中位置變化物體的識別。
10、jiahui?fu等人提出了一種基于神經描述場的物體級變化檢測方法，對場景中物體的由于視角遮擋無法觀測到的潛在形狀進行編碼，同時提出一種基于樹搜索和特征相似度匹配算法實現視角遮擋下物體的變化檢測，利用類別級神經描述場的形狀補全能力，用緊湊的形狀編碼表示部分觀測到的完整物體形狀。實驗效果證明該方法能夠有效提高環境物體的變化檢測能力。
11、ue-hwan?kim等人提出了一種基于圖像的增量式三維場景圖構建方法，首先提取關鍵幀圖像的局部場景圖，其次利用語義、位置和顏色等信息判斷多幀局部場景圖中物體實例的相似度，最后采用直方圖距離測量方法進行實例匹配從而實現全局三維場景圖融合更新。作者證明了所提出方法在能夠提高機器人的環境理解和任務規劃能力。
12、上述傳統的環境三維場景理解問題通常通過slam技術解決，然而，這種方法無法提取環境中物體的語義信息。隨著深度學習的發展，圖像理解技術，例如，目標檢測、語義分割、實例分割和全景分割等，已經使具身機器人具備了較強的圖像語義感知能力。全景建圖因其全面的感知能力而備受關注。不同于僅關注語義或實例的建圖方法，全景建圖能夠同時區分環境中的語義物體和實例物體，具備對前景與背景物體的綜合感知能力。
13、三維場景圖是一種精煉的場景表示模型，用圖結構描述場景中物體的信息及物體間的關系信息，是對度量全景地圖的精簡和補充。現有的三維場景圖構建方法往往基于已構建的場景地圖，即直接將完整地圖模型輸入到端到端網絡中實現預測。相比而言，增量式構建方法不但可以有效地減少計算和存儲成本，還可以不斷依據實時觀測數據對場景圖進行優化和完善。
14、實際應用中，增量三維場景圖構建算法為具身機器人提供更高效的決策支持。通過實時獲取當前觀測中的場景信息，具身機器人執行家庭服務任務時可以及時根據環境中的變化做出相應的反應。家庭場景中的物體往往被頻繁的移動，造成了家庭場景的半靜態特性。如果具身機器人在家庭服務的過程中無法有效識別出發生位置或狀態的物體，那么在構建環境地圖時將無法剔除地圖中的過時物體，導致地圖準確性的不斷下降。長期下來，具身機器人存儲的地圖與真實環境的匹配度不斷降低，嚴重影響了具身機器人在家庭場景中的服務能力。
技術實現思路
1、為克服上述現有技術的不足，本專利技術提供了一種具身機器人三維場景圖構建方法及系統，能夠提高具身機器人對環境的理解認知能力和對任務的快速響應能力，提升了具身機器人的智能化程度。
2、為實現上述目的，本專利技術的一個或多個實施例提供了如下技術方案：
3、第一方面，公開了具身機器人三維全景地圖和場景圖構建及更新方法，包括：
4、獲取全局場景圖中三維物體實例物體數據，針對單幀圖像提取三維物體及其相互關系的特征，得到三維場景圖中單幀圖像節點特征和邊特征；
5、將節點特征和邊特征輸入至圖神經網絡，聚合圖神經網絡中節點和邊的特征；
6、聚合后通過兩層mlp對單幀圖像的節點和邊類別的預測；即獲得局部場景圖；
7、對于不同時刻的單幀圖像的節點和邊類別的預測結果，將預測的節點及邊的所有類別的權重和概率進行存儲并融合，并不斷更新全局三維場景圖，將三維場景圖中每個節點所對應的圖像掩膜投影到三維空間中，并將所預測的節點類別作為三維全景地圖中物體實例的語義標簽，構建出環境的三維全景地圖；
8、基于構建的全局三維場景圖及三維全景地圖對半靜態環境中需要更新的物體進行檢測和更新。
9、作為進一步的技術方案，提取三維物體及其相互關系的特征，得到三維場景圖中節點特征和邊特征，具體步驟為：
10、三維物體實例數據，包括實例物體的點云及其三維包圍盒；
11、基于點云和三維包圍盒直接提取點云位置的標準差，三維包圍盒中心點坐標、尺寸、邊長最大值和體積；
12、將提取的數據進行處理后輸入圖神經網絡，所述圖神經網絡的輸出經過特征聚合和更新后的新特征。
13、作為進一步的技術方案，將節點特征和邊特征輸入至gnn，其中，采用兩個消息傳遞層的gnn實現局部場景圖的構建；
14、對于gnn的每個消息傳遞層，首先將節點特征和與其連接的邊的特征進行聚合，再與其鄰居節點特征進行聚合。
15、作為進一步的技術方案，對節點和邊類別的預測時，包括：
16、采用損失函數對網絡進行訓練，損失函數中采用權重因子平衡節點和邊的損失；
17、將三維場景圖中每個節點所對應的圖像掩膜投影到三維空間中，并將所預測的節點類別作為三維全景地圖中物體實例的語義標簽；
18、輸出節點和邊的具體類別。
19、作為進一步的技術方案，本文檔來自技高網...
【技術保護點】
1.具身機器人三維全景地圖和場景圖構建及更新方法，其特征是，包括：
2.如權利要求1所述的具身機器人三維全景地圖和場景圖構建及更新方法，其特征是，提取三維物體及其相互關系的特征，得到三維場景圖中節點特征和邊特征，具體步驟為：
3.如權利要求1所述的具身機器人三維全景地圖和場景圖構建及更新方法，其特征是，將節點特征和邊特征輸入至GNN，其中，采用兩個消息傳遞層的GNN實現局部場景圖的構建；
4.如權利要求1所述的具身機器人三維全景地圖和場景圖構建及更新方法，其特征是，對節點和邊類別的預測時，包括：
5.如權利要求1所述的具身機器人三維全景地圖和場景圖構建及更新方法，其特征是，對半靜態環境中需要更新的物體進行檢測時，利用深度圖分割算法將圖像分割為多個紋理連續的實例掩膜；
6.如權利要求1所述的具身機器人三維全景地圖和場景圖構建及更新方法，其特征是，對半靜態環境中需要更新的物體進行檢測和更新之后還包括：利用相機視錐體和歷史地圖中物體的三維包圍盒剔除當前視角下不可能被觀測到的物體。
7.如權利要求1所述的具身機器人三
8.具身機器人三維全景地圖和場景圖構建及更新系統，其特征是，包括：
9.一種計算機裝置,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現上述權利要求1-7任一所述的方法的步驟。
10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時執行上述權利要求1-7任一所述方法的步驟。
...【技術特征摘要】
1.具身機器人三維全景地圖和場景圖構建及更新方法，其特征是，包括：
2.如權利要求1所述的具身機器人三維全景地圖和場景圖構建及更新方法，其特征是，提取三維物體及其相互關系的特征，得到三維場景圖中節點特征和邊特征，具體步驟為：
3.如權利要求1所述的具身機器人三維全景地圖和場景圖構建及更新方法，其特征是，將節點特征和邊特征輸入至gnn，其中，采用兩個消息傳遞層的gnn實現局部場景圖的構建；
4.如權利要求1所述的具身機器人三維全景地圖和場景圖構建及更新方法，其特征是，對節點和邊類別的預測時，包括：
5.如權利要求1所述的具身機器人三維全景地圖和場景圖構建及更新方法，其特征是，對半靜態環境中需要更新的物體進行檢測時，利用深度圖分割算法將圖像分割為多個紋理連續的實例掩膜；
6.如權利要求1所述的具...
【專利技術屬性】
技術研發人員：袁憲鋒，應仲謀，宋勃儀，宋勇，許慶陽，龐豹，周風余，
申請(專利權)人：山東大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。