【技術實現步驟摘要】
本申請涉及計算機，尤其涉及一種用于知識密集型任務的知識推理方法、系統及設備。
技術介紹
1、在知識密集型任務處理領域，知識推理一直是提升任務處理效率和準確性的關鍵所在。傳統的知識推理方法往往依賴于單一的文本輸入和固定的知識庫，這種處理方式在面對多模態查詢文本時顯得力不從心。多模態查詢文本，即包含文本、圖像、音頻等多種數據類型的信息，要求推理系統具備更強大的數據解析和處理能力。
2、盡管已有一些嘗試將深度學習模型應用于知識推理中，但這些方法大多局限于文本數據的處理，對于多模態數據的融合與推理仍缺乏有效手段。例如，一些基于bert或textcnn等模型的文本處理方法雖然在自然語言處理領域取得了顯著成效，但在處理多模態數據時卻顯得捉襟見肘。這些模型往往無法有效捕捉圖像、音頻等非文本數據的特征，更無法在多模態數據之間建立有效的關聯。
3、基于此，亟需一種能夠針對多模態數據、用于知識密集型任務的高效、準確且靈活的知識推理技術方案。
技術實現思路
1、為解決上述問題，本申請實施例提供了一種用于知識密集型任務的知識推理方法、系統及設備。
2、一方面，本申請實施例提供了一種用于知識密集型任務的知識推理方法，該方法包括：
3、將來自用戶終端的多模態查詢文本輸入預置的文本識別融合模型，以確定相應的用戶查詢意圖及其對應的匹配知識源類型；其中，所述文本識別融合模型由bert模型和textcnn模型融合得到；
4、基于所述匹配知識源類型及所述多模態
5、根據預設模態類型分組，將所述多模態查詢數據集中各所述多模態查詢數據劃分并輸入多模態數據關聯度量模型，以確定各所述多模態查詢數據之間的第一關聯評分；其中，所述多模態數據關聯度量模型包括多個網絡結構，各所述網絡結構用于處理不同的預設模態類型分組對應的數據；
6、基于各所述第一關聯評分與第一預設閾值的比較結果，將相應的各所述多模態查詢數據進行融合處理，得到多模態融合特征信息；
7、將所述多模態融合特征信息輸入預設上下文感知推理引擎，以根據引擎輸出結果得到所述多模態查詢文本對應的推理結果。
8、在本申請的一種實現方式中，將來自用戶終端的多模態查詢文本輸入預置的文本識別融合模型，以確定相應的用戶查詢意圖，具體包括：
9、通過所述文本識別融合模型，確定所述多模態查詢文本分別在所述bert模型和所述textcnn模型的第一輸出信息、第二輸出信息；
10、根據所述第一輸出信息確定第一值矩陣、第一鍵矩陣，根據所述第二輸出信息確定第二值矩陣、第二鍵矩陣；
11、根據預設注意力機制，計算與所述第一輸出信息對應的第一融合權重、與所述第二輸出信息對應的第二融合權重；
12、根據所述第一融合權重與所述第一值矩陣的第一乘積值和所述第二融合權重與所述第二值矩陣的第二乘積值的加和，確定融合輸出信息，以根據所述融合輸出信息匹配預設意圖列表中的所述用戶查詢意圖。
13、在本申請的一種實現方式中，將來自用戶終端的多模態查詢文本輸入預置的文本識別融合模型，以確定相應的用戶查詢意圖及其對應的匹配知識源類型，具體包括：
14、通過語義解析技術將所述多模態查詢文本轉換為結構化查詢語句；
15、將所述結構化查詢語句與所述知識庫中預定義分類的各知識源匹配，以根據匹配結果確定所述匹配知識源類型；其中，所述預定義分類基于數據結構、來源、格式或內容分類；所述匹配知識源類型至少包括以下一種或多種：結構化數據、半結構化數據、非結構化數據。
16、在本申請的一種實現方式中，基于所述匹配知識源類型及所述多模態查詢文本，從相應知識庫匹配多個多模態查詢數據，以構建多模態查詢數據集，具體包括：
17、將所述用戶查詢意圖編碼為意圖向量；
18、分別計算所述意圖向量與所述知識庫中所述匹配知識源類型對應的各知識源向量的相似度，為知識源相關性評分；
19、根據各所述知識源相關性評分及知識源權重公式，確定各知識源分別對應的知識源權重；其中，為第個知識源權重，為第個知識源相關性評分，為第個知識源相關性評分，為匹配知識源類型對應的知識源總數；
20、將所述知識源權重大于第二預設閾值的知識源，作為查詢知識源；
21、根據所述結構化查詢語句與各所述查詢知識源，查詢相應的各所述多模態查詢數據，并將查詢得到的各所述多模態查詢數據添加至所述多模態查詢數據集。
22、在本申請的一種實現方式中，根據預設模態類型分組，將所述多模態查詢數據集中各所述多模態查詢數據劃分并輸入多模態數據關聯度量模型，以確定各所述多模態查詢數據之間的第一關聯評分，具體包括：
23、將不同所述預設模態類型分組的所述多模態查詢數據，分別輸入相應的所述網絡結構進行處理，以確定相應的查詢數據特征集合；其中，所述多個網絡結構的數量為兩個；
24、將各所述查詢數據特征集合分別輸入預設注意力得分函數，確定各所述查詢數據特征集合兩兩之間的各查詢數據特征的注意力得分，并得到相應的若干查詢數據特征組；其中，所述查詢數據特征組包括第一查詢數據特征、第二查詢數據特征；
25、根據各所述注意力得分及預設權重公式，確定所述查詢數據特征組分別對應的第一注意力權重、第二注意力權重；
26、計算所述第一注意力權重與所述第一查詢數據特征的特征值的第三乘積值，計算所述第二注意力權重與所述第二查詢數據特征的特征值的第四乘積值，并將所述第三乘積值與所述第四乘積值的加和，作為第二關聯評分；
27、將各所述第二關聯評分輸入預設sigmoid函數，以確定相應所述多模態查詢數據之間的所述第一關聯評分。
28、在本申請的一種實現方式中，基于各所述第一關聯評分與第一預設閾值的比較結果，將相應的各所述多模態查詢數據進行融合處理，得到多模態融合特征信息，具體包括：
29、將各所述第一關聯評分分別與所述第一預設閾值比較；
30、在所述第一關聯評分大于所述第一預設閾值的情況下，將各所述多模態查詢數據進行拼接融合，得到所述多模態融合特征信息；
31、否則，更新所述用戶查詢意圖和/或所述匹配知識源類型。
32、在本申請的一種實現方式中，將所述多模態融合特征信息輸入預設上下文感知推理引擎之前，所述方法還包括：
33、將預設知識圖譜中的實體和關系嵌入低維向量空間，以與預訓練大語言模型的向量表示對齊；
34、將整合后的所述預設知識圖譜與所述預訓練大語言模型，作為所述預設上下文感知推理引擎。
35、在本申請的一種實現方式中，所述方法還包括：
36、根據所述推理結果及來自所述用戶終端的推理結果反饋信息，確定知識庫更新信息；
37、根據預設學習率及所述知識庫更新信息、原本文檔來自技高網...
【技術保護點】
1.一種用于知識密集型任務的知識推理方法，其特征在于，所述方法包括：
2.根據權利要求1所述的一種用于知識密集型任務的知識推理方法，其特征在于，將來自用戶終端的多模態查詢文本輸入預置的文本識別融合模型，以確定相應的用戶查詢意圖，具體包括：
3.根據權利要求2所述的一種用于知識密集型任務的知識推理方法，其特征在于，將來自用戶終端的多模態查詢文本輸入預置的文本識別融合模型，以確定相應的用戶查詢意圖及其對應的匹配知識源類型，具體包括：
4.根據權利要求3所述的一種用于知識密集型任務的知識推理方法，其特征在于，基于所述匹配知識源類型及所述多模態查詢文本，從相應知識庫匹配多個多模態查詢數據，以構建多模態查詢數據集，具體包括：
5.根據權利要求1所述的一種用于知識密集型任務的知識推理方法，其特征在于，根據預設模態類型分組，將所述多模態查詢數據集中各所述多模態查詢數據劃分并輸入多模態數據關聯度量模型，以確定各所述多模態查詢數據之間的第一關聯評分，具體包括：
6.根據權利要求1所述的一種用于知識密集型任務的知識推理方法，其特征在于，基于
7.根據權利要求1所述的一種用于知識密集型任務的知識推理方法，其特征在于，將所述多模態融合特征信息輸入預設上下文感知推理引擎之前，所述方法還包括：
8.根據權利要求1所述的一種用于知識密集型任務的知識推理方法，其特征在于，所述方法還包括：
9.一種用于知識密集型任務的知識推理系統，其特征在于，所述系統包括：
10.一種用于知識密集型任務的知識推理設備，其特征在于，所述設備包括：
...【技術特征摘要】
1.一種用于知識密集型任務的知識推理方法，其特征在于，所述方法包括：
2.根據權利要求1所述的一種用于知識密集型任務的知識推理方法，其特征在于，將來自用戶終端的多模態查詢文本輸入預置的文本識別融合模型，以確定相應的用戶查詢意圖，具體包括：
3.根據權利要求2所述的一種用于知識密集型任務的知識推理方法，其特征在于，將來自用戶終端的多模態查詢文本輸入預置的文本識別融合模型，以確定相應的用戶查詢意圖及其對應的匹配知識源類型，具體包括：
4.根據權利要求3所述的一種用于知識密集型任務的知識推理方法，其特征在于，基于所述匹配知識源類型及所述多模態查詢文本，從相應知識庫匹配多個多模態查詢數據，以構建多模態查詢數據集，具體包括：
5.根據權利要求1所述的一種用于知識密集型任務的知識推理方法，其特征在于，根據預設模態類型分組，將所述...
【專利技術屬性】
技術研發人員：段強，薛潔，武寒波，李銳，張吉臣，黃登蓉，張其來，
申請(專利權)人：山東浪潮科學研究院有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。