【技術實現步驟摘要】
本專利技術涉及題目生成，更具體的說是涉及基于反事實邏輯修改的題目生成與評估方法及系統。
技術介紹
1、反事實邏輯修改是在大型語言模型的反事實推理能力領域中一個重要的課題，旨在在大語言模型中培養反事實思維過程。為此，大語言模型需要具備推理能力和邏輯修改能力，以有效進行改變論證文本，維護預定的邏輯關系并完成自我評估。反事實邏輯修改除了其重大的理論價值和完善大語言模型的能力外，它在自我評估生成內容的邏輯性保證也有重大貢獻。
2、目前的語言模型的反事實邏輯推理過程內部會出現不一致，且以多項選擇題等判別任務的準確性和通過率作為主要評估指標進行量化。這種方法對邏輯關系的判別存在誤解和誤用，且評估方法過于簡化了在復雜推理中發現本質和微妙缺陷的目標。同時，目前的關于反事實推理的研究幾乎都沒有關注模態的邏輯一致性或忠實性，預期的模型應該能夠忠實地解決現實世界的推理問題并考慮反事實。并且評估應該是從不同角度而進行，包括數學推理、常識推理、邏輯推理和特定領域的推理。而現有的多數評估方法忽視了對大語言模型推理過程的全面評估，沒有衡量模型是否理解中間推理的過程。
3、而目前的理科題目的命題需要消耗人力，ai生成的題目又無法自動衡量質量，所以有必要提出一種基于反事實邏輯修改與評估的理科題目生成方法。
技術實現思路
1、有鑒于此，本專利技術提供了一種基于反事實邏輯修改的題目生成與評估方法，能夠更快速、更省力的完成題目生成并進行自動化的評估。
2、為了實現上述目的，本專利技術采
3、第一方面，本專利技術提供一種基于反事實邏輯修改的題目生成與評估方法，包括以下步驟：
4、獲取需要進行邏輯推理的閱讀理解數據集，對其進行注釋，得到訓練集和測試集；
5、利用所述訓練集對預先構建的大語言模型進行訓練；
6、將所述測試集中的題目拆分為論點和前提，基于訓練好的大語言模型進行對前提的反事實邏輯修改，生成題目；
7、基于大語言模型對生成的題目是否符合邏輯進行自評分。
8、進一步的，獲取閱讀理解數據集之后，給定一個帶有上下文、問題、選項及正確答案的題目，對該題目進行注釋，得到錯誤選項和相應的修改后的上下文形成數據點，作為一個訓練樣本。
9、進一步的，對題目進行注釋的過程包括：
10、確定問題的內聯邏輯關系；
11、選擇一個錯誤的選項，通過刪除、添加或替換語句中的文本跨度來編輯上下文，得到修改后的論點。
12、進一步的，將所述測試集中的題目拆分為論點和前提，基于訓練好的大語言模型進行對前提的反事實邏輯修改，生成題目，包括：
13、將測試集中的題目拆分為一個論點argument和兩個前提premise1、premise2，其中，論點argument來自原始上下文，前提premise1來自正確的選項，前提premise2來自注釋；論點argument和前提premise1通過一個邏輯關系相互關聯，構成邏輯關系為r的情況一state1；
14、使用給定的前提premise2和邏輯關系r修改論點argument中的語句，得到修改后的論點argument’，構成邏輯關系為r的情況二state2；
15、將情況一state1切換至情況二state2，并將情況二state2中修改后的論點argument’作為選擇題目中的一個選項。
16、進一步的，邏輯關系r包含四種，分別為：
17、r1：前提為論證提供了必要的假設；r2：前提為論證提供了充分的假設；r3：前提加強了論證；r4：前提削弱了論證。
18、進一步的，所述基于大語言模型對生成的題目是否符合邏輯進行自評分，包括：
19、用前提premise1和滿足邏輯關系r的論點argument組成一個方法，即pr(r|p1,a)；另一組則要求前提premise2和修改后的論點argument’滿足相同的邏輯關系r，即pr(r|p2，a’)接近1；前提premise2和論點argument之間的關系應不滿足邏輯關系r，即pr(r|p2，a)趨于0；
20、基于前提premise1、論點argument、前提premise2、修改后的論點argument’、邏輯關系以及pr(r|p1,a)、pr(r|p2，a’)和pr(r|p2，a)構建邏輯概念圖；
21、基于大語言模型對邏輯概念圖中的pr(r|p1,a),pr(r|p2,a′)和pr(r|p2,a)進行估計，得到自評估分數。
22、進一步的，進行自評分時，為大語言模型設計一些二元分類任務將論點和前提滿足同一個邏輯關系的概率簡化為c(r|p1,a),c(r|p2,a′)和c(r|p2,a)∈{0,1}；
23、基于大語言模型對題目的總體邏輯修改分數的計算公式為：
24、s＝c(r|p1,a)×c(r|p2,a′)-c(r|p2,a)×c(r|p2,a′)。
25、進一步的，基于大語言模型對生成的題目是否符合邏輯進行自評分之前，還包括：
26、預先將邏輯推理評估場景拆分為幾個判別任務，通過這些任務的邏輯概念圖對大語言模型進行預訓練；
27、預訓練好的大語言模型根據當前邏輯概念圖的結構計算復雜推理任務的評級，即求出最終的自評估分數。
28、第二方面，本專利技術提供一種基于反事實邏輯修改的題目生成與評估系統，適用于上述的基于反事實邏輯修改的題目生成與評估方法，該系統包括：
29、大語言模型訓練模塊，用于獲取需要進行邏輯推理的閱讀理解數據集，對其進行注釋，得到訓練集和測試集；利用所述訓練集對預先構建的大語言模型進行訓練；
30、題目生成模塊，用于將所述測試集中的題目拆分為論點和前提，基于訓練好的大語言模型進行對前提的反事實邏輯修改，生成題目；
31、評分模塊，用于基于大語言模型對生成的題目是否符合邏輯進行自評分。
32、進一步的，所述題目生成模塊包括：
33、拆分單元，用于將測試集中的題目拆分為一個論點argument和兩個前提premise1、premise2，其中，論點argument來自原始上下文，前提premise1來自正確的選項，前提premise2來自注釋；論點argument和前提premise1通過一個邏輯關系相互關聯，構成邏輯關系為r的情況一state1；
34、前提反向修改單元，使用給定的前提premise2和邏輯關系r修改論點argument中的語句，得到修改后的論點argument’，構成邏輯關系為r的情況二state2；
35、題目生成單元，用于將情況一state1切換至情況二state2，并將情況二state2中修改后的論點argument’作為選擇題目中的一個選項。
36、經由上述的技術方案可知，與現有技術相比，本專利技術具有以下有益效本文檔來自技高網...
【技術保護點】
1.一種基于反事實邏輯修改的題目生成與評估方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于反事實邏輯修改的題目生成與評估方法，其特征在于，獲取閱讀理解數據集之后，給定一個帶有上下文、問題、選項及正確答案的題目，對該題目進行注釋，得到錯誤選項和相應的修改后的上下文形成數據點，作為一個訓練樣本。
3.根據權利要求2所述的基于反事實邏輯修改的題目生成與評估方法，其特征在于，對題目進行注釋的過程包括：
4.根據權利要求1所述的基于反事實邏輯修改的題目生成與評估方法，其特征在于，將所述測試集中的題目拆分為論點和前提，基于訓練好的大語言模型進行對前提的反事實邏輯修改，生成題目，包括：
5.根據權利要求4所述的基于反事實邏輯修改的題目生成與評估方法，其特征在于，邏輯關系R包含四種，分別為：
6.根據權利要求5所述的基于反事實邏輯修改的題目生成與評估方法，其特征在于，所述基于大語言模型對生成的題目是否符合邏輯進行自評分，包括：
7.根據權利要求6所述的基于反事實邏輯修改的題目生成與評估方法，其特征在于，進行自評
8.根據權利要求7所述的基于反事實邏輯修改的題目生成與評估方法，其特征在于，基于大語言模型對生成的題目是否符合邏輯進行自評分之前，還包括：
9.一種基于反事實邏輯修改的題目生成與評估系統，其特征在于，適用于如權利要求1-8任一項所述的基于反事實邏輯修改的題目生成與評估方法，該系統包括：
10.根據權利要求8所述的基于反事實邏輯修改的題目生成與評估系統，其特征在于，所述題目生成模塊包括：
...【技術特征摘要】
1.一種基于反事實邏輯修改的題目生成與評估方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于反事實邏輯修改的題目生成與評估方法，其特征在于，獲取閱讀理解數據集之后，給定一個帶有上下文、問題、選項及正確答案的題目，對該題目進行注釋，得到錯誤選項和相應的修改后的上下文形成數據點，作為一個訓練樣本。
3.根據權利要求2所述的基于反事實邏輯修改的題目生成與評估方法，其特征在于，對題目進行注釋的過程包括：
4.根據權利要求1所述的基于反事實邏輯修改的題目生成與評估方法，其特征在于，將所述測試集中的題目拆分為論點和前提，基于訓練好的大語言模型進行對前提的反事實邏輯修改，生成題目，包括：
5.根據權利要求4所述的基于反事實邏輯修改的題目生成與評估方法，其特征在于，邏輯關系r包含四種，分別為：
6.根據權利要求5所述的基于...
【專利技術屬性】
技術研發人員：黃殷雅，王常睿，梁小丹，洪銳鑫，張洪銘，邵衛，楊志成，任鵬真，俞棟，張長水，宋林琦，陳崇雨，
申請(專利權)人：暗物智能科技廣州有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。