【技術實現步驟摘要】
本申請的所公開實施例涉及計算機視覺，且更具體而言，涉及一種基于常識信息的三維重建方法、電子設備和存儲介質。
技術介紹
1、三維重建技術在虛擬現實、游戲開發、建筑設計、智能制造等領域具有廣泛的應用前景，可以推動相關行業的創新和發展，然而傳統的三維重建技術主要依賴于傳感器捕捉的幾何和紋理數據，這些數據通常僅提供了物體或場景的表面形狀與外觀信息，而缺乏對物體內部結構的深入理解，因此，基于傳統三維重建技術進行重建得到的結果的準確性和完整性有待提高。
技術實現思路
1、根據本申請的實施例，本申請提出一種基于常識信息的三維重建方法、電子設備和存儲介質，以解決上述問題。
2、本申請的第一方面公開了基于常識信息的三維重建方法，獲取至少一種數據；利用多模態學習模型，從所述至少一種數據中提取常識特征，所述常識特征用于表征所述至少一種數據所表示的三維場景；基于所述常識特征進行三維重建，得到所述三維場景的三維模型，實現重建所述三維場景。
3、在一些實施例中，所述利用多模態學習模型，從所述至少一種數據中提取常識特征，包括：利用所述多模態學習模型，將所述至少一種數據編碼為特征數據；利用所述多模態學習模型，將所述特征數據解碼為所述常識特征。
4、在一些實施例中，所述至少一種數據包括圖像數據、文本數據、傳感器數據和結構化數據中的至少一種；所述利用所述多模態學習模型，將所述至少一種數據編碼為特征數據，包括：將所述圖像數據輸入圖像編碼器，得到圖像特征數據；和/或將所述文本數據輸入文
5、在一些實施例中，所述基于所述常識特征進行三維重建，包括：基于所述常識特征進行場景理解，得到所述三維場景中的場景特征；基于所述常識特征進行物體識別，得到所述三維場景中的物體特征；對所述場景特征與所述物體特征進行匹配，以得到所述場景特征與所述物體特征在所述三維場景中的空間關系。
6、在一些實施例中，所述基于所述常識特征進行三維重建，包括：基于所述常識特征，確定用于所述三維重建的計算資源；利用所述三維重建的計算資源，基于所述常識特征進行所述三維重建。
7、在一些實施例中，所述基于所述常識特征，確定用于所述三維重建的計算資源，包括：基于所述常識特征，對所述三維場景的區域進行評估，得到所述三維場景的區域的重建幾何信息；基于所述三維場景的區域的重建幾何信息，確定用于所述三維場景的區域的計算資源。
8、在一些實施例中，所述利用所述三維重建的計算資源，基于所述常識特征進行所述三維重建，包括：利用所述三維場景的區域的計算資源，基于所述常識特征，對所述三維場景的區域進行重建。
9、在一些實施例中，所述方法進一步包括：基于所述常識特征與所述三維模型的相關重建特征，對所述三維模型進行平滑處理。
10、本申請第二方面公開了一種電子設備，包括相互耦接的存儲器和處理器，所述處理器用于執行所述存儲器中存儲的程序指令，以實現第一方面中所述的基于常識信息的三維重建方法。
11、本申請第三方面公開了一種非易失性計算機可讀存儲介質，其上存儲有程序指令，所述程序指令被處理器執行時實現第一方面中所述的基于常識信息的三維重建方法。
12、本申請的有益效果有：獲取至少一種數據，通過利用多模態學習模型，從至少一種數據中提取常識特征，且常識特征用于表征至少一種數據所表示的三維場景，進而基于常識特征進行三維重建，得到三維場景的三維模型，實現重建三維場景，即提高了三維重建技術的準確性和完整性。
本文檔來自技高網...【技術保護點】
1.一種基于常識信息的三維重建方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述利用多模態學習模型，從所述至少一種數據中提取常識特征，包括：
3.根據權利要求2所述的方法，其特征在于，所述至少一種數據包括圖像數據、文本數據、傳感器數據和結構化數據中的至少一種；
4.根據權利要求1所述的方法，其特征在于，所述基于所述常識特征進行三維重建，包括：
5.根據權利要求1所述的方法，其特征在于，所述基于所述常識特征進行三維重建，包括：
6.根據權利要求5的所述方法，其特征在于，所述基于所述常識特征，確定用于所述三維重建的計算資源，包括：
7.根據權利要求5所述的方法，其特征在于，所述利用所述三維重建的計算資源，基于所述常識特征進行所述三維重建，包括：
8.根據權利要求1所述的方法，其特征在于，進一步包括：
9.一種電子設備，其特征在于，包括相互耦接的存儲器和處理器，所述處理器用于執行所述存儲器中存儲的程序指令，以實現權利要求1至8任一項所述的基于常識信息的三維重建方法。p>
10.一種非易失性計算機可讀存儲介質，其上存儲有程序指令，其特征在于，所述程序指令被處理器執行時實現權利要求1至8任一項所述的基于常識信息的三維重建方法。
...【技術特征摘要】
1.一種基于常識信息的三維重建方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述利用多模態學習模型，從所述至少一種數據中提取常識特征，包括：
3.根據權利要求2所述的方法，其特征在于，所述至少一種數據包括圖像數據、文本數據、傳感器數據和結構化數據中的至少一種；
4.根據權利要求1所述的方法，其特征在于，所述基于所述常識特征進行三維重建，包括：
5.根據權利要求1所述的方法，其特征在于，所述基于所述常識特征進行三維重建，包括：
6.根據權利要求5的所述方法，其特征在于，所述基于所述常識特征，確定...
【專利技術屬性】
技術研發人員：賀瀟，
申請(專利權)人：深圳元戎啟行科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。