【技術實現步驟摘要】
本專利技術涉及機器人，特別是涉及一種用于人機互助的異構常識性場景圖生成方法及系統。
技術介紹
1、本部分的陳述僅僅是提到了與本專利技術相關的
技術介紹
，并不必然構成現有技術。
2、隨著機器人技術的蓬勃發展和計算機視覺技術的進步，機器人可以勝任的任務越來越多，如導航、抓取、碼垛等。
3、隨著機器人的“類人特性”和自身算法能力的不斷提升，以及ai機器人等智能產品的出現，ai和人共存合作的可能性和必要性也在不斷增強。換句話說，人是難以避免和ai產生接觸的。因此，在新的背景下機器人對人類非特定意圖的理解及人機互助系統的構建變得越來越重要。
4、深度學習技術的發展，特別是vlm(視覺語言模型)、llm(大語言模型)的出現為該任務提供了解決思路。為了完成人機互助的任務，機器人首先需要理解其所處的環境信息。現有方法中一般使用slam技術結合目標檢測技術(yolo系列)或語義分割技術(u-net)構建語義地圖，但該地圖受封閉數據集的限制，只能識別出數據集中標注過的物體，擴展性差，且缺乏對環境中物體的常識性理解。而對于人類的意圖理解，現有方法采用了基于神經網絡的識別技術，其也是利用封閉數據集，封閉數據集即針對人類的一個固定動作，機器人會做出固定的反應。
5、機器人的人機互助方法的研究局限于封閉數據集和特定意圖，但現實生活、生產環境中的大多為非結構化場景，環境復雜且人類動作多變，導致現有用于人機互助的語義地圖無法滿足現實需求。
6、另外，當前的人機互助系統或機器人任務規劃系統，通常在執行階段
技術實現思路
1、為了解決現有技術的不足，本專利技術提供了一種用于人機互助的異構常識性場景圖生成方法、系統、電子設備、計算機可讀存儲介質及計算機程序產品，打破封閉數據集的限制，構建異構常識性場景圖并利用其進行推理決策，擺脫了推理決策過程中對大模型的依賴。
2、第一方面，本專利技術提供了一種用于人機互助的異構常識性場景圖生成方法；
3、一種用于人機互助的異構常識性場景圖生成方法，包括：
4、獲取環境圖像序列并提取關鍵幀，基于關鍵幀提取實體信息；
5、考慮實體的幾何位置關系和特征相似度，融合不同關鍵幀下的同一實體，增量構建地圖；對地圖上實體間的任務關系和常識性關系進行建模，生成異構常識性場景圖，以輔助機器人執行人機互助任務。
6、在一些實施方式中，所述基于關鍵幀提取實體信息具體包括：
7、對每個關鍵幀中的rgb圖像進行實體提取，獲取實體掩碼，并利用相機內參和關鍵幀位姿將實體掩碼轉換為世界坐標下的點云；
8、通過視覺語言模型對實體掩碼所對應的rgb圖像進行編碼，獲取與文本特征對齊的視覺特征。
9、在一些實施方式中，所述考慮實體的幾何位置關系和特征相似度，融合不同關鍵幀下的同一實體具體包括：
10、計算關鍵幀中節點與地圖中現有節點的特征相似度和節點距離，當特征相似度大于預設特征閾值且節點距離小于預設距離閾值時，合并節點和現有節點；
11、將不同關鍵幀中同一實體的點云構成不同的點云組合，計算點云組合的包含率；當包含率大于預設包含率閾值時，將點云組合中的點云合并。
12、在一些實施方式中，所述包含率表示為：
13、
14、式中，pointa表示點云a，pointb表示點云b，表示點云a的體積，表示點云b的體積。
15、在一些實施方式中，所述對地圖上實體間的任務關系和常識性關系進行建模，生成異構常識性場景圖包括：
16、通過大語言模型為實體生成所有可執行的任務，構建任務級別圖；通過大語言模型預測實體間的常識性關系，構建實體級別圖；
17、將任務級別圖和實體級別圖融合，生成異構常識性場景圖。
18、在一些實施方式中，在生成異構常識性場景圖之前，還包括：
19、根據實體對應的視覺特征，計算相似度得分并確定實體的顯式類別標簽；
20、通過大語言模型對最大相似度得分小于預設得分閾值的實體進行語義分類。
21、第二方面，本專利技術提供了一種基于異構常識性場景圖的人機互助系統；
22、一種基于異構常識性場景圖的人機互助系統，包括：
23、實體提取模塊，被配置為：獲取環境圖像序列并提取關鍵幀，基于關鍵幀提取實體信息；考慮實體的幾何位置關系和特征相似度，融合不同關鍵幀下的同一實體，增量構建地圖；
24、異構常識性場景圖構建模塊，被配置為：對地圖上實體間的任務關系和常識性關系進行建模，生成異構常識性場景圖，以輔助機器人執行人機互助任務。
25、第三方面，本專利技術提供了一種電子設備；
26、一種電子設備，包括存儲器、處理器及存儲在存儲器上的計算機程序，所述處理器執行所述計算機程序以實現上述用于人機互助的異構常識性場景圖生成方法的步驟。
27、第四方面，本專利技術提供了一種計算機可讀存儲介質；
28、一種計算機可讀存儲介質，其上存儲有計算機程序/指令，該計算機程序/指令被處理器執行時實現上述用于人機互助的異構常識性場景圖生成方法的步驟。
29、第五方面，本專利技術提供了一種計算機程序產品；
30、一種計算機程序產品，包括計算機程序/指令，該計算機程序/指令被處理器執行時實現上述用于人機互助的異構常識性場景圖生成方法的步驟。
31、與現有技術相比，本專利技術的有益效果是：
32、1、本專利技術提供的技術方案，提供了一種增量構建地圖的方式，能夠突破封閉數據集的限制，準確識別出環境中的實體位置及其類別，并在多幀中增量融合同一實體；同時，針對實體分割模型過度分割的問題，利用點云幾何關系與特征相似度進行點云后處理，將碎片化的點云進行合并，構建出完整實體。
33、2、本專利技術提供的技術方案，使用大模型技術對實體間的常識性關系進行建模，表達實體之間的任務導向關系以及兩兩之間更加細膩的常識性關系；能夠打破封閉數據集的限制，構建異構常識性場景圖，并理解地圖中實體的常識性關系。
34、3、本專利技術提供的技術方案，僅在構建異構常識性場景圖的階段使用大模型。在實際的任務規劃和推理過程中，系統完全擺脫對大模型的依賴，轉而依賴先前構建的異構常識性場景圖進行推理和決策；不僅保留了大模型帶來的強大語義理解與推理能力，同時大幅降低了系統的運行成本和響應時間。
本文檔來自技高網...【技術保護點】
1.用于人機互助的異構常識性場景圖生成方法，其特征在于，包括：
2.如權利要求1所述的用于人機互助的異構常識性場景圖生成方法，其特征在于，所述基于關鍵幀提取實體信息具體包括：
3.如權利要求1所述的用于人機互助的異構常識性場景圖生成方法，其特征在于，所述考慮實體的幾何位置關系和特征相似度，融合不同關鍵幀下的同一實體具體包括：
4.如權利要求3所述的用于人機互助的異構常識性場景圖生成方法，其特征在于，所述包含率表示為：
5.如權利要求1所述的用于人機互助的異構常識性場景圖生成方法，其特征在于，所述對地圖上實體間的任務關系和常識性關系進行建模，生成異構常識性場景圖包括：
6.如權利要求1所述的用于人機互助的異構常識性場景圖生成方法，其特征在于，在生成異構常識性場景圖之前，還包括：
7.基于異構常識性場景圖的人機互助系統，其特征在于，包括：
8.一種電子設備，包括存儲器、處理器及存儲在存儲器上的計算機程序，其特征在于，所述處理器執行所述計算機程序以實現權利要求1-6任一項所述用于人機互助的異構常識性場景
9.一種計算機可讀存儲介質，其上存儲有計算機程序/指令，其特征在于，該計算機程序/指令被處理器執行時實現權利要求1-6任一項所述用于人機互助的異構常識性場景圖生成方法的步驟。
10.一種計算機程序產品，包括計算機程序/指令，其特征在于，該計算機程序/指令被處理器執行時實現權利要求1-6任一項所述用于人機互助的異構常識性場景圖生成方法的步驟。
...【技術特征摘要】
1.用于人機互助的異構常識性場景圖生成方法，其特征在于，包括：
2.如權利要求1所述的用于人機互助的異構常識性場景圖生成方法，其特征在于，所述基于關鍵幀提取實體信息具體包括：
3.如權利要求1所述的用于人機互助的異構常識性場景圖生成方法，其特征在于，所述考慮實體的幾何位置關系和特征相似度，融合不同關鍵幀下的同一實體具體包括：
4.如權利要求3所述的用于人機互助的異構常識性場景圖生成方法，其特征在于，所述包含率表示為：
5.如權利要求1所述的用于人機互助的異構常識性場景圖生成方法，其特征在于，所述對地圖上實體間的任務關系和常識性關系進行建模，生成異構常識性場景圖包括：
6.如權利要求1所述的用于人機互助的異構常識性場景圖生成...
【專利技術屬性】
技術研發人員：劉春生，呂吉輝，常發亮，王德鑫，郇恒強，程坤，
申請(專利權)人：山東大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。