【技術實現步驟摘要】
本專利技術涉及信息檢索和圖文生成領域，具體涉及一種基于信息檢索技術的設計方案生成方法。
技術介紹
1、在創意產業中，藝術設計方案優化扮演著至關重要的角色，它不僅關乎作品的創意性與美觀度，更是決定作品能否在市場上獲得成功的關鍵因素；然而，傳統的藝術設計方案優化方法往往受限于設計師的個人經驗和創意水平，難以在短時間內產生高質量的設計方案。
2、因此，尋求一種高效、自動化的藝術設計方案優化方法成為了當前研究的熱點。
3、信息檢索技術作為計算機科學領域的重要分支，其強大的信息檢索和信息處理能力為藝術設計方案優化提供了新的可能性；通過利用信息檢索技術，設計師可以從海量的設計資源中快速找到與用戶需求相似或相關的設計案例，從而為設計師提供靈感和參考；同時，信息檢索技術還可以幫助設計師自動化地評估和優化設計方案，提高設計效率和質量；因此，基于信息檢索技術的設計方案生成方法的研究，具有重要的理論和實踐意義。
技術實現思路
1、針對現有技術的不足之處，提供一種基于信息檢索技術的設計方案生成方法，其整合rag技術以及llm大模型，使得從龐大的設計數據庫中快速檢索并生成與用戶需求高度相關的設計方案成為可能，利用自動化工具快速評估和迭代設計，顯著提高了設計的質量和創新速度
2、為實現上述技術目的，本專利技術的基于信息檢索技術的藝術設計方案生成方法，步驟如下：
3、步驟1、收集文本描述以及與文本描述內容匹配的圖像作為原始方案，并將兩者原始方案關聯后分別存儲為數據
4、步驟2、對圖像預處理數據進行特征提取處理，得到視覺特征和語義特征：使用自然編碼器提取圖像類數據中的視覺特征；對與圖像匹配的文字描述數據，使用語義分割網絡對文字圖像進行處理，以識別并分割出文字區域，通過四叉樹分配算法取出均勻分布的語義特征點，整合所有區域的語義特征點，形成完整、與包括文字的圖像類數據對應的語義特征點集合；
5、步驟3、使用特征金字塔網絡(fpn)構建多尺度特征圖，利用多尺度特征圖將不同層次的特征圖進行融合，同步捕捉豐富的語義特征和視覺特征上下文信息；利用轉換矩陣，將上一步驟提取的視覺特征和語義特征映射到多尺度特征圖中的統一的特征空間中，確保在映射過程中保留各自特征的關鍵信息；使用注意力機制對不同的視覺特征和語義特征進行加權處理，實現視覺特征和語義特征的融合，該融合過程可全面反映原始設計方案的核心視覺和語義屬性；基于圖像描述生成任務預訓練端到端的模型，任務預訓練端到端的模型為傳統編碼器-解碼器架構，將融合后的語義特征和視覺特征輸入任務預訓練端到端的模型中進行優化，得到融合特征，將所有的文字、圖像的融合特征構成計材料數據庫；
6、步驟4、根據需要，使用搜索引擎從設計材料數據庫中獲取與需要的融合特征相關的設計材料；通過固定大小分塊的方式對設計材料進行分塊處理，得到多個分塊信息；使用transformers庫加載bge?v1.5模型，而后采用momentum?encoder方法對bge?v1.5模型進行微調，將分塊信息轉換為高維向量，根據預設的聚類數量k，使用k-means聚類量化方法初始化k個聚類中心，將每個高維向量分配到最近的聚類中心，形成k個聚類；采用invertedfile(ivf)復核pq的索引結構組織量化后的高維向量；為每個聚類構建一個倒排列表，得到k個倒排列表，倒排列表中包含該聚類中所有高維向量的標識符；使用折疊樹策略優化檢索過程；根據嵌入信息與向量數據庫中的節點向量的相似度，得到候選集，相似度最高的節點向量為需求設計材料；最后采用上下文豐富方法對需求設計材料進行拓展，得到拓展后設計材料；
7、將所述拓展后設計材料輸入至llm語言大模型中，得到初步文字設計方案；初步文字設計方案總結和要點提取，得到語義要點，最后將語義要點輸入至現有文生圖模型中，得到初步圖片設計方案，即需要的圖像成品；整合初步文字設計方案和初步圖片設計方案，得到初步設計方案；
8、步驟5、根據用戶反饋的評述信息，根據評述信息判斷是否需要優化初步設計方案，優化初步設計方案過程為根據已搜索得到的材料，返回迭代步驟1-步驟4。
9、進一步，自然編碼器包括輸入層layer1、隱藏層layer?2、layer?3以及輸出層layer?4，輸入層用于接收圖像類數據，并將其轉換為神經網絡能理解的形式；隱藏層通過relu非線性激活函數，將輸入的圖像類數據映射到低微空間；輸出層用于將隱藏層的輸出與輸入層的輸入進行比較，通過均方誤差函數計算損失，然后，通過反向傳播算法，根據損失函數計算出的誤差來調整網絡中的權重和偏置；重復執行損失計算和反向傳播過程，直到達到預定的迭代次數，而后輸出視覺特征；
10、通過自然編碼器，對輸入數據進行變換，以輸出期望的視覺特征；第一層有兩個神經元x1、x2以及一個截距項c1；第二層有兩個神經元y1、y2以及一個截距項c2；第三層是輸出,有兩個神經元h1和h2；每條線上的數值表示神經元之間連接的權重,損失函數σ選用sigmoi函數；
11、對于包括文字的圖像類數據，使用語義分割網絡對文字圖像進行處理，以識別并分割出文字區域；利用四叉樹分配算法對圖像進行遞歸分割，直到達到預設的最小分割單元；在每個四叉樹的葉節點區域內，應用自適應提取閾值算法，確定特征點的提取閾值；根據設定的閾值，從每個葉節點區域中提取出均勻分布的語義特征點；整合所有區域的語義特征點，形成完整、與包括文字的圖像類數據對應的語義特征點集合；
12、對于純文字數據，即文本描述，使用自然語言處理技術提取文本描述的文本體征，通過文字描述可為素材搜索過程提供更多的關鍵信息，整合語義特征點集合和文本特征，得到語義特征。
13、進一步，特征金字塔網絡(fpn)的backbone采用resnet，包括一個自底向上的線路，一個自頂向下的線路，兩個線路橫向連接；自底向上：其實就是網絡的前向過程；在前向過程中，按2的整數倍進行選取；feature?map的大小在經過某些層后會改變，而在經過其他一些層的時候不會改變，將不改變feature?map大小的層歸為一個stage，每次抽取的特征都是每個stage的最后一個層輸出，這樣就能構成特征金字塔；在特征選取網絡的backbone都是以2的整數倍進行縮放的；自頂向下：過程中采用上采樣(upsampling)進行，這里的上采樣是一個2倍的上采樣，上采樣后便保證了高與寬相同，使用橫向可以進行相加融合操作；橫向連接則是將上采樣的結果和自底向上生成的相同大小的feature?map進行融合；在融合之后再采用3*3的卷積核對每個融合結果進行卷積，消除上采樣的混疊效應。
14、進一步，使用注意力機制加權不同特征的重要性，實現視覺特征和語義特征的融合，該融合過程可全面反映原始設計方案的核心視覺和語義屬性；注意力機制加權流程包括三部分，第一部分為特征提取本文檔來自技高網...
【技術保護點】
1.基于信息檢索技術的設計方案生成方法，其特征在于，步驟如下：
2.根據權利要求1所述的基于信息檢索技術的設計方案生成方法，其特征在于，然編碼器包括輸入層Layer1、隱藏層Layer?2、Layer?3以及輸出層Layer4，輸入層用于接收圖像類數據，并將其轉換為神經網絡能理解的形式；隱藏層通過ReLU非線性激活函數，將輸入的圖像類數據映射到低微空間；輸出層用于將隱藏層的輸出與輸入層的輸入進行比較，通過均方誤差函數計算損失，然后，通過反向傳播算法，根據損失函數計算出的誤差來調整網絡中的權重和偏置；重復執行損失計算和反向傳播過程，直到達到預定的迭代次數，而后輸出視覺特征；
3.根據權利要求1所述的基于信息檢索技術的設計方案生成方法，其特征在于，特征金字塔網絡(FPN)的backbone采用ResNet，包括一個自底向上的線路，一個自頂向下的線路，兩個線路橫向連接；自底向上：其實就是網絡的前向過程；在前向過程中，按2的整數倍進行選取；feature?map的大小在經過某些層后會改變，而在經過其他一些層的時候不會改變，將不改變feature?map大小的層歸為
4.根據權利要求3所述的基于信息檢索技術的設計方案生成方法，其特征在于，使用注意力機制加權不同特征的重要性，實現視覺特征和語義特征的融合，該融合過程可全面反映原始設計方案的核心視覺和語義屬性；注意力機制加權流程包括三部分，第一部分為特征提取器,首先將視覺特征送入預訓練好的CNN中,提取N個柵格化特征X＝{x?1,x?2,……,xN}；第二部分為編碼器,將語義特征以及柵格化特征分別送入編碼器,得到編碼后的特征,編碼器由具有跨尺度特征融合自注意力的L層編碼層構成；第三部分為解碼器,將編碼后的特征送入解碼器,得到解碼后的描述序列,解碼器由具有普通自注意力的L層解碼層構成；所述解碼后的描述序列為融合后的語義特征和視覺特征。
5.根據權利要求1所述的基于信息檢索技術的設計方案生成方法，其特征在于，Transformers框架微調的BGE?v1.5模型具體為：
6.根據權利要求1所述的基于信息檢索技術的設計方案生成方法，其特征在于，采用Inverted?File(IVF)復核PQ的索引結構組織量化后的向量；IVF索引將數據點分配到多個“倒排列表”中，每個聚類代表一個視覺詞匯，使用聚類中心來表示；即為每個聚類構建一個倒排列表，得到K個倒排列表，列表中包含該聚類中所有向量的標識符；
7.根據權利要求6所述的基于信息檢索技術的設計方案生成方法，其特征在于，使用折疊樹策略來優化檢索過程；
8.根據權利要求6所述的基于信息檢索技術的設計方案生成方法，其特征在于：
...【技術特征摘要】
1.基于信息檢索技術的設計方案生成方法，其特征在于，步驟如下：
2.根據權利要求1所述的基于信息檢索技術的設計方案生成方法，其特征在于，然編碼器包括輸入層layer1、隱藏層layer?2、layer?3以及輸出層layer4，輸入層用于接收圖像類數據，并將其轉換為神經網絡能理解的形式；隱藏層通過relu非線性激活函數，將輸入的圖像類數據映射到低微空間；輸出層用于將隱藏層的輸出與輸入層的輸入進行比較，通過均方誤差函數計算損失，然后，通過反向傳播算法，根據損失函數計算出的誤差來調整網絡中的權重和偏置；重復執行損失計算和反向傳播過程，直到達到預定的迭代次數，而后輸出視覺特征；
3.根據權利要求1所述的基于信息檢索技術的設計方案生成方法，其特征在于，特征金字塔網絡(fpn)的backbone采用resnet，包括一個自底向上的線路，一個自頂向下的線路，兩個線路橫向連接；自底向上：其實就是網絡的前向過程；在前向過程中，按2的整數倍進行選取；feature?map的大小在經過某些層后會改變，而在經過其他一些層的時候不會改變，將不改變feature?map大小的層歸為一個stage，每次抽取的特征都是每個stage的最后一個層輸出，這樣就能構成特征金字塔；在特征選取網絡的backbone都是以2的整數倍進行縮放的；自頂向下：過程中采用上采樣(upsampling)進行，這里的上采樣是一個2倍的上采樣，上采樣后便保證了高與寬相同，使用橫向可以進行相加融合操作；橫向連接則是將上采樣的結果和自底向上生成的相同大小的feature?map進行融合；在融合之后再...
【專利技術屬性】
技術研發人員：劉一鑠，吳佳琦，吳星辰，劉振，
申請(專利權)人：江蘇建筑職業技術學院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。