【技術實現步驟摘要】
本專利技術涉及人工智能，尤其涉及一種基于多模型協同對話的大模型交互方法及系統。
技術介紹
1、隨著人工智能技術的快速發展，大模型交互方法在各個領域的應用日益廣泛，傳統的大模型交互方法主要依賴單一模型進行處理，難以應對復雜的多模態數據和高度動態的任務環境。近年來，基于多模型協同的方法逐漸受到關注，通過整合多個專業模型的優勢，提高了系統的整體性能和適應性；
2、但是現有的多模型協同對話方法仍存在對多模態數據的處理能力不足，難以有效提取和融合不同模態的特征信息、模型間的協作機制較為簡單，缺乏靈活的任務分配和資源調度策略以及難以根據實時任務需求和系統狀態進行自適應調整，導致系統的魯棒性和可擴展性不足的問題；
3、因此，亟需一種方案解決現有技術中存在的問題。
技術實現思路
1、本專利技術實施例提供一種基于多模型協同對話的大模型交互方法及系統，至少能解決現有技術中存在的部分問題。
2、本專利技術實施例的第一方面，提供一種基于多模型協同對話的大模型交互方法，包括：
3、接收多模態數據并將所述多模態數據劃分為大小相同的像素塊矩陣，通過計算每個像素塊的亮度均值和色彩分布生成感知特征向量，通過小波變換提取所述感知特征向量對應的高頻特征分量和低頻特征分量并構建量化閾值區域，根據所述量化閾值區域將所述高頻特征分量和所述低頻特征分量映射至六邊形蜂窩狀的編碼矩陣，在核心層中填充主體數據信息，將數據時序關系寫入關聯層，結合密度估計算法生成數據校驗位圖存入驗證層，對
4、基于所述傳輸數據單元和所述注意力得分矩陣構建模型通信網絡并部署多個基礎模型作為模型節點，在模型節點中隨機選擇多個模型節點作為共識節點，將所述感知特征向量、所述高頻特征分量和所述低頻特征分量添加至所述模型節點中，通過圖譜卷積計算節點間的專業度評分并構建帶權重的模型協作圖，在所述模型協作圖上建立雙向信息通道，結合所述注意力得分矩陣將所述傳輸數據單元編碼為標準表示格式，結合所述專業度評分和所述編碼矩陣的特征關聯度計算任務親合度，結合所述模型節點的計算負載和所述共識節點的驗證結果生成自適應路由表，基于所述自適應路由表在模型節點間傳遞所述傳輸數據單元，通過數據校驗位圖進行數據完整性校驗；
5、采集模型節點處理所述傳輸數據單元時的性能數據，結合所述注意力得分矩陣對響應延遲、吞吐量和資源利用率進行在線建模生成性能評估圖譜，融合所述性能評估圖譜和所述模型協作圖得到綜合評估網絡并轉化為狀態空間表示，將所述狀態空間表示作為基于優勢學習的策略網絡的輸入，輸出候選節點協作策略，將所述候選節點協作策略轉化為評估向量形式，結合預先設置的性能指標在每個評估維度上計算評估得分，基于所述評估得分構建多維策略競爭空間，通過快速非支配排序算法求解最優解集合并通過主成分分析算法求解關鍵協作單元，基于所述關鍵協作單元和譜聚類算法進行相關性分組，得到策略重組模版并執行交叉重組操作，得到最優節點協作策略。
6、在一種可選的實施方式中，
7、接收多模態數據并將所述多模態數據劃分為大小相同的像素塊矩陣，通過計算每個像素塊的亮度均值和色彩分布生成感知特征向量，通過小波變換提取所述感知特征向量對應的高頻特征分量和低頻特征分量并構建量化閾值區域包括：
8、接收多模態數據流，提取所述多模態數據流中的視頻數據的關鍵幀序列并解析為rgb三通道矩陣，將所述多模態數據流中的音頻數據通過短時傅里葉變換轉換為時頻譜圖，將所述多模態數據流中的文本數據的字符序列編碼為詞嵌入向量，采用統一數據預處理模塊將所述rgb三通道矩陣、所述時頻譜圖和所述詞嵌入向量映射為像素級表示；
9、計算所述像素級表示的局部熵值分布，基于所述局部熵值分布識別數據密度變化區域邊界并標記高熵值區域和低熵值區域，在高熵值區域采用第一分塊尺寸，在低熵值區域采用大于所述第一分塊尺寸的第二分塊尺寸，通過迭代二分法確定所述第一分塊尺寸和所述第二分塊尺寸的數值，將所述像素級表示劃分為像素塊矩陣；
10、采用自適應閾值分割算法將所述像素塊矩陣中每個像素塊的像素值分為多個亮度等級，通過滑動窗口掃描所述像素塊并累積統計窗口內像素的亮度分布直方圖，計算所述亮度分布直方圖的一階矩、二階矩和三階矩得到亮度特征，在rgb色彩空間中應用k均值聚類算法提取主色調并計算類間距離和類內距離得到色彩分布特征，將所述亮度特征和所述色彩分布特征組合形成感知特征向量；
11、構建包含低通分解濾波器和高通分解濾波器的小波濾波器組，對所述感知特征向量執行四層分解得到每一層的近似分量和細節分量，將所述近似分量經所述低通分解濾波器得到下一層的輸入信號，將所述細節分量保留三個方向的高頻信息，通過軟閾值方法對小波系數進行去噪；
12、計算所述小波系數的概率密度分布并識別局部極值點，采用基于區間內方差比的分裂策略和基于區間間距離的合并策略對系數區間進行劃分，得到非均勻量化閾值區域，將高頻特征分量和低頻特征分量映射至所述非均勻量化閾值區域。
13、在一種可選的實施方式中，
14、根據所述量化閾值區域將所述高頻特征分量和所述低頻特征分量映射至六邊形蜂窩狀的編碼矩陣，在核心層中填充主體數據信息，將數據時序關系寫入關聯層，結合密度估計算法生成數據校驗位圖存入驗證層，對所述編碼矩陣執行多頭注意力機制生成注意力得分矩陣，疊加自注意力殘差單元進行特征降維，得到壓縮向量并分割為固定長度的數據塊，結合所述數據校驗位圖構建冗余校驗包，生成傳輸數據單元包括：
15、構建由同心環繞的多層六邊形單元組成蜂窩狀的編碼矩陣，在所述編碼矩陣的核心層通過螺旋展開的蛇形掃描方式填充所述高頻特征分量和所述低頻特征分量，在所述編碼矩陣的關聯層記錄數據塊的時序依賴關系，在所述編碼矩陣的驗證層存儲基于高斯核函數計算的數據密度分布校驗位圖；
16、將所述編碼矩陣投影至查詢空間、鍵空間和值空間，在多個注意力頭內分別計算特征向量內積得到注意力分數，對所述注意力分數進行歸一化處理后與值向量加權組合，將多個注意力頭的輸出特征經線性變換拼接形成注意力得分矩陣；
17、構建包含主分支和旁路分支的自注意力殘差單元，在所述主分支執行自注意力運算，在所述旁路分支保持原始特征不變，將所述主分支和所述旁路分支的輸出通過加法融合并經多層感知器降維得到壓縮向量；
18、將所述壓縮向量劃分為多個固定長度的數據段，統計所述數據段內有效位的分布密度，計算所述數據段的水平方向位模式特征和垂直方向位模式特征，根據所述位模式特征和所述分布密度生成特征標識碼，所述特征標識碼包含位模式類型信息和密度等級信息，采用位置加權的漢明距離度量所述數據段之間的相似程度，基于數據可靠性需求動態調整相似度閾值，將相似度高于所述相似度閾值的所述數據本文檔來自技高網...
【技術保護點】
1.基于多模型協同對話的大模型交互方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，接收多模態數據并將所述多模態數據劃分為大小相同的像素塊矩陣，通過計算每個像素塊的亮度均值和色彩分布生成感知特征向量，通過小波變換提取所述感知特征向量對應的高頻特征分量和低頻特征分量并構建量化閾值區域包括：
3.根據權利要求1所述的方法，其特征在于，根據所述量化閾值區域將所述高頻特征分量和所述低頻特征分量映射至六邊形蜂窩狀的編碼矩陣，在核心層中填充主體數據信息，將數據時序關系寫入關聯層，結合密度估計算法生成數據校驗位圖存入驗證層，對所述編碼矩陣執行多頭注意力機制生成注意力得分矩陣，疊加自注意力殘差單元進行特征降維，得到壓縮向量并分割為固定長度的數據塊，結合所述數據校驗位圖構建冗余校驗包，生成傳輸數據單元包括：
4.根據權利要求1所述的方法，其特征在于，基于所述傳輸數據單元和所述注意力得分矩陣構建模型通信網絡并部署多個基礎模型作為模型節點，在模型節點中隨機選擇多個模型節點作為共識節點，將所述感知特征向量、所述高頻特征分量和所述低頻特征分量添加至所述
5.根據權利要求4所述的方法，其特征在于，基于所述標準格式數據，通過結構解析和特征分析構建特征關聯矩陣，結合所述專業度評分和所述編碼矩陣的特征關聯度，設置權重系數并加權融合得到初始親合度，結合實時反饋數據進行數據校正得到所述任務親合度包括：
6.根據權利要求1所述的方法，其特征在于，采集模型節點處理所述傳輸數據單元時的性能數據，結合所述注意力得分矩陣對響應延遲、吞吐量和資源利用率進行在線建模生成性能評估圖譜，融合所述性能評估圖譜和所述模型協作圖得到綜合評估網絡并轉化為狀態空間表示，將所述狀態空間表示作為基于優勢學習的策略網絡的輸入，輸出候選節點協作策略，將所述候選節點協作策略轉化為評估向量形式，結合預先設置的性能指標在每個評估維度上計算評估得分，基于所述評估得分構建多維策略競爭空間，通過快速非支配排序算法求解最優解集合并通過主成分分析算法求解關鍵協作單元，基于所述關鍵協作單元和譜聚類算法進行相關性分組，得到策略重組模版并執行交叉重組操作，得到最優節點協作策略包括：
7.根據權利要求6所述的方法，其特征在于，對所述評估得分的各個維度進行均勻網格劃分構建多維策略競爭空間，將所述評估得分映射至所述多維策略競爭空間中得到策略位置坐標，通過快速非支配排序算法對所述策略位置坐標進行排序得到最優解集合，對所述最優解集合執行主成分分析算法，提取主要特征方向并計算特征貢獻率，選取累積貢獻率超過預設閾值的特征方向作為關鍵協作單元包括：
8.基于多模型協同對話的大模型交互系統，用于實現前述權利要求1-7中任一項所述的方法，其特征在于，包括：
9.一種電子設備，其特征在于，包括：
10.一種計算機可讀存儲介質，其上存儲有計算機程序指令，其特征在于，所述計算機程序指令被處理器執行時實現權利要求1至7中任意一項所述的方法。
...【技術特征摘要】
1.基于多模型協同對話的大模型交互方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，接收多模態數據并將所述多模態數據劃分為大小相同的像素塊矩陣，通過計算每個像素塊的亮度均值和色彩分布生成感知特征向量，通過小波變換提取所述感知特征向量對應的高頻特征分量和低頻特征分量并構建量化閾值區域包括：
3.根據權利要求1所述的方法，其特征在于，根據所述量化閾值區域將所述高頻特征分量和所述低頻特征分量映射至六邊形蜂窩狀的編碼矩陣，在核心層中填充主體數據信息，將數據時序關系寫入關聯層，結合密度估計算法生成數據校驗位圖存入驗證層，對所述編碼矩陣執行多頭注意力機制生成注意力得分矩陣，疊加自注意力殘差單元進行特征降維，得到壓縮向量并分割為固定長度的數據塊，結合所述數據校驗位圖構建冗余校驗包，生成傳輸數據單元包括：
4.根據權利要求1所述的方法，其特征在于，基于所述傳輸數據單元和所述注意力得分矩陣構建模型通信網絡并部署多個基礎模型作為模型節點，在模型節點中隨機選擇多個模型節點作為共識節點，將所述感知特征向量、所述高頻特征分量和所述低頻特征分量添加至所述模型節點中，通過圖譜卷積計算節點間的專業度評分并構建帶權重的模型協作圖，在所述模型協作圖上建立雙向信息通道，結合所述注意力得分矩陣將所述傳輸數據單元編碼為標準表示格式，結合所述專業度評分和所述編碼矩陣的特征關聯度計算任務親合度，結合所述模型節點的計算負載和所述共識節點的驗證結果生成自適應路由表，基于所述自適應路由表在模型節點間傳遞所述傳輸數據單元，通過數據校驗位圖進行數據完整性校驗包括：
5.根據權利要求4所述的方法，其特征在于，基于所述標準格式數據，通過結構解析和特征分析構建特...
【專利技術屬性】
技術研發人員：高經郡，高海玲，朱建勇，
申請(專利權)人：北京科杰科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。