【技術實現步驟摘要】
本專利技術屬于自然語言處理的，具體涉及基于大語言模型的科學選擇題自動答題方法、介質及設備。
技術介紹
1、在自然語言處理領域，機器閱讀理解是一項重要的研究任務，其目標是在給定相關材料與問題的基礎上，進行理解并實現自動問答。目前，機器閱讀理解領域主要涉及多選項選擇、自由作答、完形填空以及片段抽取四種任務。隨著人工智能在教育和員工培訓領域的普及和發展，科學題材選擇題的理解與應用受到了廣泛關注。這類選擇題旨在針對高精尖技術等前沿知識的問題，從若干選項中選出正確答案，廣泛應用于工程、通信、生物學、醫學和經濟學等領域的高端技術人才培養測試中。
2、現有的科學題材選擇題問答方法普遍基于深度學習技術，主要有以下幾類：
3、1.直接匹配方法：通過在題干和選項之間進行直接的詞語或段落匹配，尋找相似度最高的答案。這類方法雖然簡單高效，但對于需要復雜推理或依賴背景知識的題目，表現較差，特別是在語義多樣化的選項處理上其準確性不高。
4、2.基于預訓練語言模型的方法：使用預訓練語言模型(如bert、gpt-3)進行問題理解和答案生成。這些模型通過大量的語料庫訓練，具備較強的語言理解能力。例如，在mctest數據集中，使用dcmn模型的作答正確率達到了86.5％；在squad數據集中，使用bert模型的f1值已經高達93.2％。盡管這些模型具備較強的語義處理能力，但在處理復雜推理場景時仍顯得不足，難以應對需要多層次推理的問題。
5、3.增強檢索方法：部分最新研究開始關注增強檢索技術，通過從外部數據庫獲取與題干
6、盡管現有技術在科學題材選擇題問答方面取得了一定進展，但仍存在以下幾個主要缺陷：
7、①語義分析能力不足：多數方法過于依賴簡單的詞語匹配或段落匹配，缺乏對題干和選項深層次語義關系的理解。對于需要復雜推理和背景知識的題目，現有方法難以準確作答。
8、②外部信息利用不足：盡管增強檢索技術可以提高答案選擇的準確性，但現有方法對外部信息的利用仍不充分，缺乏對外部數據與題干、選項之間關系的有效整合。檢索到的外部信息往往未能充分優化與模型的邏輯推理能力結合，導致在復雜問題上的解答效果有限。
9、③缺乏邏輯推理能力：現有的增強檢索和多鏈推理技術雖然在一定程度上提升了推理能力(例如多鏈元推理mcr)，但這些技術在多思維鏈條間缺乏有效的推理結果整合機制，導致推理鏈條之間的結果一致性較低。此外，現有技術在推理過程中缺少動態加權機制來調整不同推理鏈的權重，容易導致偏差。
10、④長文本處理與信息丟失問題：現有技術(多跳問答方法)通過對長文檔進行摘要和預處理，生成緊湊表示來提升處理效率，然而，信息壓縮過度可能導致關鍵語義信息的丟失，尤其是在面對多層次推理問題時，過于簡化的預處理往往忽略了重要的上下文關系，限制了模型對復雜問題的解答能力。
11、⑤數據集質量問題：部分數據集質量較低，存在大量重復內容，覆蓋領域單一，導致模型的泛化能力受到限制。在更廣泛的應用場景中，模型無法有效處理多樣化的問題類型，表現出適應性不強的局限。
技術實現思路
1、本專利技術的目的在于提供基于大語言模型的科學選擇題自動答題方法、介質及設備，旨在解決上述問題。
2、本專利技術主要通過以下技術方案實現：
3、基于大語言模型的科學選擇題自動答題方法，包括以下步驟：
4、步驟s1：對問題文本q進行分析，基于外部數據庫進行檢索增強，從外部數據庫中進行檢索匹配，得到與問題相關的文檔集合d＝{d1，d2，…，dn}；
5、步驟s2：然后，對文檔集d中的每個文檔進行摘要和預處理，生成預處理后的文檔集合d'；將問題、答案選項以及預處理后的文檔信息進行拼接，得到輸入序列s＝concat(q，a，d')，其中a為答案選項集合，且a＝{a1，a2，…，am}；
6、步驟s3：將拼接后的輸入序列s轉換為嵌入向量embed(s)，然后，基于flashattention機制提取答案信息：
7、e(s)＝flashattention(embed(s))
8、步驟s4：基于多思維鏈投票表決，每個思維鏈利用platypus2模型的決策層ffndecision對每個答案選項進行評分f(a)：
9、f(a)＝ffndecision(flashattention(embed(s)))
10、每個思維鏈將每個答案選項的評分f(a)排序，多個思維鏈最終表決得到b個答案選項作為科學選擇題的回答。
11、為了更好地實現本專利技術，進一步地，所述步驟s1中，首先對問題文本q進行分析，利用bert分詞器對題干進行精確分詞和預處理，隨后通過使用預訓練的gte-base模型對分詞結果進行編碼，生成嵌入向量e(q)；進而基于利用最近鄰搜索技術在外部數據庫中執行搜索，定位問題的上下文，得到文檔集合d。
12、為了更好地實現本專利技術，進一步地，所述步驟s1中，還包括將嵌入向量e(q)組合成嵌入矩陣，進行l2范數歸一化處理：
13、
14、其中：norm(e(q))是歸一化后的嵌入向量；
15、n是向量中元素的數量，
16、ei是嵌入向量e(q)中的第i個元素；
17、然后，基于norm(e(q))，利用最近鄰搜索技術在外部數據庫中執行搜索，定位問題的上下文，得到文檔集合d。
18、為了更好地實現本專利技術，進一步地，所述最近鄰搜索技術是通過最小化待查詢的嵌入向量與數據庫中的嵌入向量之間的歐幾里得距離，實現在外部數據庫中找到與待查詢的嵌入向量最相近的嵌入向量，進而得到問題的上下文。
19、為了更好地實現本專利技術，進一步地，所述步驟s4包括以下步驟：
20、步驟s41：每個思維鏈分別隨機選取預處理后文檔集合d'的文檔子集di，然后對答案選項進行評分fi(a)：
21、fi(a)＝ffndecision(flashattention(embed(concat(q，a，di))))；
22、步驟s42：根據每個思維鏈得出的評分，對所有答案選項進行排序，并選取得分最高的前a個答案選項作為該思維鏈推薦的答案選項；
23、步驟s43：針對每個答案選項，計算在所有思維鏈中被選思維鏈推薦的次數；然后，根據次數對所有答案選項進行排序，得到最終推薦的b個答案選項，作為科學選擇題的回答。
24、為了更好地實現本專利技術，進一步地，a＝b＝3。
25、一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現上述的基于大語言模型的科學選擇題自本文檔來自技高網...
【技術保護點】
1.基于大語言模型的科學選擇題自動答題方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于大語言模型的科學選擇題自動答題方法，其特征在于，所述步驟S1中，首先對問題文本Q進行分析，利用BERT分詞器對題干進行精確分詞和預處理，隨后通過使用預訓練的gte-base模型對分詞結果進行編碼，生成嵌入向量E(Q)；進而基于利用最近鄰搜索技術在外部數據庫中執行搜索，定位問題的上下文，得到文檔集合D。
3.根據權利要求2所述的基于大語言模型的科學選擇題自動答題方法，其特征在于，所述步驟S1中，還包括將嵌入向量E(Q)組合成嵌入矩陣，進行L2范數歸一化處理：
4.根據權利要求2或3所述的基于大語言模型的科學選擇題自動答題方法，其特征在于，所述最近鄰搜索技術是通過最小化待查詢的嵌入向量與數據庫中的嵌入向量之間的歐幾里得距離，實現在外部數據庫中找到與待查詢的嵌入向量最相近的嵌入向量，進而得到問題的上下文。
5.根據權利要求1所述的基于大語言模型的科學選擇題自動答題方法，其特征在于，所述步驟S4包括以下步驟：
6.根據權利要求5所
7.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1-6任一項所述的基于大語言模型的科學選擇題自動答題方法。
8.一種計算機設備，其特征在于，包括一個或多個處理器以及存儲裝置，所述存儲裝置用于存儲一個或多個程序；當所述一個或多個程序被所述一個或多個處理器執行時，使得所述一個或多個處理器實現權利要求1-6任一項所述的基于大語言模型的科學選擇題自動答題方法。
...【技術特征摘要】
1.基于大語言模型的科學選擇題自動答題方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于大語言模型的科學選擇題自動答題方法，其特征在于，所述步驟s1中，首先對問題文本q進行分析，利用bert分詞器對題干進行精確分詞和預處理，隨后通過使用預訓練的gte-base模型對分詞結果進行編碼，生成嵌入向量e(q)；進而基于利用最近鄰搜索技術在外部數據庫中執行搜索，定位問題的上下文，得到文檔集合d。
3.根據權利要求2所述的基于大語言模型的科學選擇題自動答題方法，其特征在于，所述步驟s1中，還包括將嵌入向量e(q)組合成嵌入矩陣，進行l2范數歸一化處理：
4.根據權利要求2或3所述的基于大語言模型的科學選擇題自動答題方法，其特征在于，所述最近鄰搜索技術是通過最小化待查詢的嵌入向量與數據庫中的嵌入向量...
【專利技術屬性】
技術研發人員：李沛剡，張澤華，顧卓平，鄭鍵，
申請(專利權)人：中通服軟件科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。