【技術實現步驟摘要】
本專利技術屬于室內場景合成，具體涉及一種基于大語言模型的開放域室內場景層級生成方法及系統。
技術介紹
1、室內場景設計需要對空間劃分、功能排列和審美創造力進行全面考慮，以確定物體的選擇和放置，從而形成場景布局，其目標是自動生成合理、現實和多樣化的三維室內場景，特別是考慮到任意的用戶需求。然而，由于室內場景的復雜性，它們大多局限于訓練數據的范圍，不能推廣到任意條件。最近，一些開創性的工作利用預先訓練的大型語言模型(large?language?model，簡稱llm)強大的泛化能力來解決開放域上的場景合成任務，其中llm負責將任何文本需求解釋為詳細的場景配置。這種方法的挑戰在于從llm輸出中獲得合理且物理上可行的場景布局。
2、專利技術人發現，現有技術存在以下技術缺陷：一方面，llm可以利用原始知識和示例集，直接輸出數值布局。但是由于llm缺乏空間推理能力，無法理解數值布局的空間關系，導致物體重疊、出界現象嚴重。另一方面，與直接生成數值布局相比，讓llm生成場景空間關系的文本描述更能獲得可靠的答案。但這需要一種將文本描述轉換為數字布局的方法，同時保持整個管道的泛化。現有方法預先定義幾種類型的空間關系的文本短語和數值規則以獲得布局。然而，密集的空間關系往往無法同時滿足，導致llm輸出的配置與生成結果不一致，而粗糙的關系難以表示復雜的空間位置，導致物體的放置不合理。
技術實現思路
1、針對上述現有技術中存在的問題，本專利技術提供了一種基于大語言模型的開放域室內場景層級生成方法
2、為了解決以上技術問題，本專利技術的技術方案為：
3、第一方面，本專利技術提供了一種基于大語言模型的開放域室內場景層級生成方法，包括：
4、定義場景結構為三級層次結構，第一層是代表整個場景的根節點，第二層是每個節點代表一個矩形功能區域的內部節點，第三層是表示屬于相應區域內物體的葉節點，使用簡單文本短語表示物體間的關系；根據用戶需求及場景結構的定義構造提示詞作為輸入，引導預訓練大語言模型劃分功能區域，輸出結構化文本來描述分層場景表示，包括物體的大小、文本描述和物體間粗粒度相對位置的屬性；
5、訓練細粒度相對位置推理網絡，推斷具有空間關系的物體之間的細粒度相對位置；它以分層場景結構為基礎，借助預訓練的視覺語義大模型，可以在開放域設置中推斷出合理的相對位置；
6、設計分治布局優化策略，從具有細粒度相對位置的分層場景表示中優化場景布局。它首先對每個功能區域內部進行局部優化，然后全局優化，將區域組織成物理上可行的場景布局。根據物體的文本描述和數據集中物體的圖片，使用預訓練的clip計算余旋相似度，檢索出相應的三維物體模型，然后根據場景布局對物體模型進行縮放和放置，從而生成完整的場景。
7、作為可選擇的實施方式，三級層次結構中，節點與兩種類型的邊相連，即表示層次結構的父子關系和物體之間的成對關系來表示它們的空間關系。具體來說，為了減少冗余，為每個功能區域設置了一個錨物體，只允許錨物體與其他屬于同一功能區域的物體之間的成對關系。
8、進一步，分層場景結構中的每個節點都包含屬性的定義。假設場景的軸對齊矩形平面圖，根節點包括大小屬性和場景的文本描述，即，其中是一個二維向量，表示場景的長和寬；內部節點包括大小屬性、文本描述、中心位置和方向屬性，即，其中，是一個二維向量，表示功能區域的長和寬，是一個二維坐標，是一個二進制值，表示水平方向或垂直方向；葉節點包括文本描述、類別標簽、對應的三維模型以及物體定向邊界框的大小、中心位置、方向，即，其中，是一個三維向量，表示物體的長寬高，是一個三維坐標；此外，成對的空間關系存儲粗略的文本描述以及細粒度的相對位置坐標和相對方向，即。
9、作為可選擇的實施方式，構造提示詞具體為：
10、首先是為llm分配一個角色和任務描述，包括對節點含義及其連接的層次結構的簡要定義。其次是給出首選數據格式和預定義約束的描述，包括功能區域的類型、可能的錨物體和空間關系。最后，以首選格式和特定用戶要求向llm展示一個簡單的場景示例。
11、作為可選擇的實施方式，構建細粒度相對位置推理網絡過程包括：根據分層場景結構，構造輸入圖，其中，表示物體節點的集合，表示同一功能區域內從節點到的有向邊的集合。從輸入圖中取每個頂點包含的物體描述、物體大小信息和每條邊包含的空間關系的粗糙文本描述信息。
12、進一步，對使用線性嵌入編碼，對和使用預訓練的clip文本編碼器編碼。在訓練中，使用相對位置坐標的真實數據來豐富每個邊信息，并對其使用線性嵌入進行編碼，其中是兩個物體之間對齊的二進制指示符。注意，相對位置坐標信息僅在訓練過程中使用，即在推理過程中不需要。經過編碼后，節點嵌入和邊嵌入為：
13、。
14、進一步，將和納入輸入圖的每個節點和邊，并將其概念化為上下文圖，采用變分圖神經網絡進行編解碼。編碼過程可以用以下方式來表達：
15、，
16、其中，和表示第k輪信息傳遞時節點嵌入，表示第k輪信息傳遞時邊嵌入；為邊嵌入更新函數，指用第k輪的節點嵌入更新邊嵌入信息；為節點嵌入更新函數，指在第k輪中用鄰居節點更新節點嵌入信息；表示與節點連接的鄰居節點集；表示取均值的操作；編碼后，邊嵌入被參數化為高斯分布；解碼器將更新后的上下文圖作為輸入，并從高斯分布中隨機采樣，得到相對位置的特征；最后，使用單獨的mlp來解碼相對位置信息，輸出，其中為解碼得到的相對位置坐標，為解碼得到的相對方向，為預測的對齊二進制指示符。
17、訓練細粒度相對位置推理網絡時，目標函數為：
18、，
19、其中，是邊緣特征分量的高斯分布和后驗分布之間的?kullback-leibler散度，是相對位置上的?l1?損失，和是離散相對方向角和對齊的二進制指示符的交叉熵損失。
20、作為可選擇的實施方式，分而治之的布局優化包括兩個過程：局部優化和全局優化。
21、進一步，局部優化具體為：對于每個功能區域進行局部優化，最小化物體的相對位置和細粒度相對位置推理模塊輸出的相對位置，約束以避免物體重疊和出界，即
22、，
23、其中，和表示物體和對應的錨點物體在功能區域內的位置，包括中心位置坐標和方向。表示計算兩個物體之間的相對位置，是網絡預測的物體和對應的錨點物體之間的相對位置。表示區域內物體的集合。約束任意兩個物體的定向邊界框之間的重疊盡可能小，旨在避免物體邊界框位于區域邊界之外，為區域邊界的大小，是由預訓練的llm生成的。
24、進一步，全局優化具體為：組織局部優化的區域以形成場景。每個功能區域都將其錨物體的方向作為其自己的方向。基于日常生活中的觀察，要求功能區域靠墻擺放，彼此遠離，方向指向場景內部，同時避免物體重疊和出界，優化函數如下：
25、，
26、其中，表示區域放置，本文檔來自技高網...
【技術保護點】
1.一種基于大語言模型的開放域室內場景層級生成方法，其特征在于，包括：
2.根據權利要求1所述的一種基于大語言模型的開放域室內場景層級生成方法，其特征在于，分層場景結構中的每個節點都包含屬性的定義，假設場景的軸對齊矩形平面圖，根節點包括大小屬性和場景的文本描述，即，其中是一個二維向量，表示場景的長和寬；內部節點包括大小屬性、文本描述、中心位置和方向屬性，即，其中，是一個二維向量，表示功能區域的長和寬，是一個二維坐標，是一個二進制值，表示水平方向或垂直方向；葉節點包括文本描述、類別標簽、對應的三維模型以及物體定向邊界框的大小、中心位置、方向，即，其中，是一個三維向量，表示物體的長寬高，是一個三維坐標；此外，成對的空間關系存儲粗略的文本描述以及細粒度的相對位置坐標和相對方向，即。
3.根據權利要求1所述的一種基于大語言模型的開放域室內場景層級生成方法，其特征在于，構造提示詞具體為：首先是為LLM分配一個角色和任務描述，包括對節點含義及其連接的層次結構的簡要定義；其次是給出首選數據格式和預定義約束的描述，包括功能區域的類型、可能的錨物體和空間關系；最后，以首選格
4.根據權利要求1所述的一種基于大語言模型的開放域室內場景層級生成方法，其特征在于，構建細粒度相對位置推理網絡過程包括：根據分層場景結構，構造輸入圖，其中，表示物體節點的集合，表示同一功能區域內從節點到的有向邊的集合；從輸入圖中取每個頂點包含的物體描述、物體大小信息和每條邊包含的空間關系的粗糙文本描述信息。
5.根據權利要求4所述的一種基于大語言模型的開放域室內場景層級生成方法，其特征在于，還包括：對使用線性嵌入編碼，對和使用預訓練的CLIP文本編碼器編碼；在訓練中，使用相對位置坐標的真實數據來豐富每個邊信息，并對其使用線性嵌入進行編碼，其中是兩個物體之間對齊的二進制指示符；相對位置坐標信息僅在訓練過程中使用，即在推理過程中不需要；經過編碼后，節點嵌入和邊嵌入為：
6.根據權利要求5所述的一種基于大語言模型的開放域室內場景層級生成方法，其特征在于，還包括：將和納入輸入圖的每個節點和邊，并將其概念化為上下文圖，采用變分圖神經網絡進行編解碼；編碼過程可以用以下方式來表達：
7.根據權利要求1所述的一種基于大語言模型的開放域室內場景層級生成方法，其特征在于，訓練細粒度相對位置推理網絡時，目標函數為：
8.根據權利要求1所述的一種基于大語言模型的開放域室內場景層級生成方法，其特征在于，分而治之的布局優化包括兩個過程：局部優化和全局優化。
9.根據權利要求8所述的一種基于大語言模型的開放域室內場景層級生成方法，其特征在于，局部優化具體為：對于每個功能區域進行局部優化，最小化物體的相對位置和細粒度相對位置推理模塊輸出的相對位置，約束以避免物體重疊和出界，即
10.一種基于大語言模型的開放域室內場景層級生成系統，其特征在于，包括：
...【技術特征摘要】
1.一種基于大語言模型的開放域室內場景層級生成方法，其特征在于，包括：
2.根據權利要求1所述的一種基于大語言模型的開放域室內場景層級生成方法，其特征在于，分層場景結構中的每個節點都包含屬性的定義，假設場景的軸對齊矩形平面圖，根節點包括大小屬性和場景的文本描述，即，其中是一個二維向量，表示場景的長和寬；內部節點包括大小屬性、文本描述、中心位置和方向屬性，即，其中，是一個二維向量，表示功能區域的長和寬，是一個二維坐標，是一個二進制值，表示水平方向或垂直方向；葉節點包括文本描述、類別標簽、對應的三維模型以及物體定向邊界框的大小、中心位置、方向，即，其中，是一個三維向量，表示物體的長寬高，是一個三維坐標；此外，成對的空間關系存儲粗略的文本描述以及細粒度的相對位置坐標和相對方向，即。
3.根據權利要求1所述的一種基于大語言模型的開放域室內場景層級生成方法，其特征在于，構造提示詞具體為：首先是為llm分配一個角色和任務描述，包括對節點含義及其連接的層次結構的簡要定義；其次是給出首選數據格式和預定義約束的描述，包括功能區域的類型、可能的錨物體和空間關系；最后，以首選格式和特定用戶要求向llm展示一個簡單的場景示例。
4.根據權利要求1所述的一種基于大語言模型的開放域室內場景層級生成方法，其特征在于，構建細粒度相對位置推理網絡過程包括：根據分層場景結構，構造輸入圖，其中，表示物體節點的集合，表示同一功能區域內從節點到的有向邊的集合；從輸入圖中...
【專利技術屬性】
技術研發人員：孟雷，孫瑋琳，王宇，李曼祎，李雪龍，孟祥旭，
申請(專利權)人：山東省工業技術研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。