【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及人工智能，特別涉及一種思維鏈自動構(gòu)建方法、裝置、設(shè)備及存儲介質(zhì)。
技術(shù)介紹
1、大模型即大語言模型，是一種語言模型，廣泛應用于人工智能領(lǐng)域。其主要特點是擁有極其龐大的參數(shù)量，因此被稱為大模型。大語言模型通過大量的數(shù)據(jù)進行訓練，從而能夠理解和生成自然語言文本。其應用范圍非常廣泛，包括但不限于自動翻譯、文本生成、對話系統(tǒng)、信息檢索等。由于其龐大的參數(shù)量和復雜的結(jié)構(gòu)，大語言模型能夠捕捉語言中的復雜模式和語義關(guān)系，從而在多種任務中表現(xiàn)出色。
2、現(xiàn)有技術(shù)中，大模型邏輯推理技術(shù)主要有兩種，一種是采用大模型內(nèi)部知識進行隱式推理，第二種則是通過自動或人工構(gòu)建思維鏈，進行顯式推理。其中隱式推理只是采用了大模型本身知識。思維鏈(chain?of?thought,?簡稱cot)是一種能夠激發(fā)大模型通過“思考”來回答困難問題的技術(shù)，指把邏輯較為復雜的問題進行拆解，通過一系列有邏輯關(guān)系的思考，形成完整的思考的過程，旨在通過向大語言模型展示少量的樣例，并通過這些樣例解釋推理過程，讓大語言模型學會在生成答案時展示推理過程，并引導其得到更準確的答案。
3、但是，隱式推理通常會在不同任務產(chǎn)生一定干擾，并且在指令不足的條件下，容易出現(xiàn)幻覺問題；幻覺問題是指?大語言模型在生成內(nèi)容時，提供的內(nèi)容與現(xiàn)實世界事實或用戶輸入不一致的現(xiàn)象?。而針對顯式推理，以思維鏈為例，構(gòu)建思維鏈本身是復雜的，人工構(gòu)建需要耗費大量人力物力；現(xiàn)有技術(shù)中有方案提出模型自動構(gòu)建思維鏈，但對于模型自動構(gòu)建，由于大模型的局限性，很難涵蓋到要構(gòu)建思維鏈的全部推理知
技術(shù)實現(xiàn)思路
1、有鑒于此，本專利技術(shù)的目的在于提供一種思維鏈自動構(gòu)建方法、裝置、設(shè)備及存儲介質(zhì)，能夠提高思維鏈的準確性，提高大模型推理的準確性和可信度。其具體方案如下：
2、第一方面，本申請公開了一種思維鏈自動構(gòu)建方法，包括：
3、獲取輸入文本，通過語言擴寫生成所述輸入文本對應的段落；
4、針對所述段落中的命名實體生成相關(guān)的問題，并生成所述問題對應的答案；
5、按照審核規(guī)則對所述答案進行審核篩選出未過審答案，根據(jù)所述未過審答案對所述大模型進行微調(diào)，針對所述未過審答案重新生成新答案直至所述新答案過審；
6、基于所有所述問題和所有過審答案之間的關(guān)聯(lián)關(guān)系，得到所述輸入文本對應的思維鏈。
7、可選的，獲取輸入文本，通過語言擴寫生成所述輸入文本對應的段落，針對所述段落中的命名實體生成相關(guān)的問題，并生成所述問題對應的答案，包括：
8、對所述輸入文本進行關(guān)鍵詞提取，得到所述輸入文本對應的關(guān)鍵詞；
9、基于所述關(guān)鍵詞對所述輸入文本進行語言擴寫，得到所述輸入文本對應的段落；
10、通過命名實體識別方法從所述段落中提取出所有的命名實體；
11、結(jié)合所述段落的內(nèi)容生成針對每個所述命名實體的問題，并生成所述問題對應的答案。
12、可選的，所述按照審核規(guī)則對所述答案進行審核篩選出未過審答案，根據(jù)所述未過審答案對所述大模型進行微調(diào)，針對所述未過審答案重新生成新答案直至所述新答案過審，包括：
13、按照審核規(guī)則對所述答案進行審核以篩選出不過審答案；所述審核規(guī)則包括邏輯審核和事實性審核；
14、根據(jù)所述未過審答案，通過指令微調(diào)法對所述大模型進行微調(diào)；
15、針對所述未過審答案對應的目標問題，利用微調(diào)后模型重新生成所述目標問題的答案作為所述新答案，直至針對所述目標問題生成的答案過審。
16、可選的，所述基于所有所述問題和所有過審答案之間的關(guān)聯(lián)關(guān)系，得到所述輸入文本對應的思維鏈，包括：
17、判斷所述思維鏈是否達到目標長度；所述目標長度是根據(jù)所述輸入文本的復雜程度和/或所述輸入文本涉及的領(lǐng)域類型確定的；
18、若未達到所述目標長度，則基于所述過審答案中的命名實體，進行問題生成和答案生成，以便根據(jù)新生成問題和答案擴充所述思維鏈，直至所述思維鏈達到所述目標長度；
19、基于所有所述問題和所有過審答案之間的關(guān)聯(lián)關(guān)系，得到所述輸入文本對應的思維鏈。
20、可選的，所述大模型的訓練過程，包括：
21、根據(jù)權(quán)重確定規(guī)則確定每條文本的權(quán)重；所述權(quán)重確定規(guī)則為基于文本長度和/或文本重要性的規(guī)則；
22、基于每條所述文本對應的權(quán)重以及每條文本對應的損失，通過加權(quán)求和得到所述大模型的損失函數(shù)；
23、利用所述損失函數(shù)對所述大模型進行訓練。
24、可選的，所述大模型的訓練過程，包括：
25、獲取訓練集；所述訓練集為通過多樣性篩選、準確性篩選和代表性篩選的訓練集；
26、按照最大文本打包長度對所述訓練集中的文本進行合并，針對合并后未達到所述最大文本打包長度且剩余空間不足合并一個完整文本時，采用空格填充，以便將所述訓練集分為多個大小相同的任務塊；所述任務塊中包含一個或多個完整的文本；
27、通過將所述任務塊分配至圖形處理器處理訓練大模型。
28、可選的，所述按照最大文本打包長度對所述訓練集中的文本進行合并，包括：
29、按照文本長度對所述訓練集中的文本進行排序；
30、基于所述排序，按照最大文本打包長度對所述訓練集中的文本進行合并，以便得到的單個任務塊中不同的文本的長度相近。
31、第二方面，本申請公開了一種思維鏈自動構(gòu)建裝置，包括：
32、輸入文本獲取模塊，用于獲取輸入文本，通過語言擴寫生成所述輸入文本對應的段落；
33、問題及答案生成模塊，用于針對所述段落中的命名實體生成相關(guān)的問題，并生成所述問題對應的答案；
34、審核模塊，用于按照審核規(guī)則對所述答案進行審核篩選出未過審答案，根據(jù)所述未過審答案對所述大模型進行微調(diào)，針對所述未過審答案重新生成新答案直至所述新答案過審；
35、思維鏈構(gòu)建模塊，用于基于所有所述問題和所有過審答案之間的關(guān)聯(lián)關(guān)系，得到所述輸入文本對應的思維鏈。
36、第三方面，本申請公開了一種電子設(shè)備，包括：
37、存儲器，用于保存計算機程序；
38、處理器，用于執(zhí)行所述計算機程序，以實現(xiàn)前述的思維鏈自動構(gòu)建方法。
39、第四方面，本申請公開了一種計算機可讀存儲介質(zhì)，用于存儲計算機程序；其中計算機程序被處理器執(zhí)行時實現(xiàn)前述的思維鏈自動構(gòu)建方法。
40、本申請中，獲取輸入文本，通過語言擴寫生成所述輸入文本對應的段落；針對所述段落中的命名實體生成相關(guān)的問題，并生成所述問題對應的答案；按照審核規(guī)則對所述答案進行審核篩選出未過審答案，根據(jù)所述未過審答案對所述大模型進行微調(diào)，針對所述未過審答案重新生成新答案直至所述新答案過審；基于所有所述問題和所有過審答案之間的關(guān)聯(lián)關(guān)系，得到所述輸入文本對應的思維鏈。可見，大模型根據(jù)輸入的文本通過語言擴充本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種思維鏈自動構(gòu)建方法，其特征在于，應用于大模型，包括：
2.根據(jù)權(quán)利要求1所述的思維鏈自動構(gòu)建方法，其特征在于，獲取輸入文本，通過語言擴寫生成所述輸入文本對應的段落，針對所述段落中的命名實體生成相關(guān)的問題，并生成所述問題對應的答案，包括：
3.根據(jù)權(quán)利要求1所述的思維鏈自動構(gòu)建方法，其特征在于，所述按照審核規(guī)則對所述答案進行審核篩選出未過審答案，根據(jù)所述未過審答案對所述大模型進行微調(diào)，針對所述未過審答案重新生成新答案直至所述新答案過審，包括：
4.根據(jù)權(quán)利要求1所述的思維鏈自動構(gòu)建方法，其特征在于，所述基于所有所述問題和所有過審答案之間的關(guān)聯(lián)關(guān)系，得到所述輸入文本對應的思維鏈，包括：
5.根據(jù)權(quán)利要求1所述的思維鏈自動構(gòu)建方法，其特征在于，所述大模型的訓練過程，包括：
6.根據(jù)權(quán)利要求1至5任一項所述的思維鏈自動構(gòu)建方法，其特征在于，所述大模型的訓練過程，包括：
7.根據(jù)權(quán)利要求6所述的思維鏈自動構(gòu)建方法，其特征在于，所述按照最大文本打包長度對所述訓練集中的文本進行合并，包括：
8.一種思維
9.一種電子設(shè)備，其特征在于，包括：
10.一種計算機可讀存儲介質(zhì)，其特征在于，用于存儲計算機程序；其中計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7任一項所述的思維鏈自動構(gòu)建方法。
...【技術(shù)特征摘要】
1.一種思維鏈自動構(gòu)建方法，其特征在于，應用于大模型，包括：
2.根據(jù)權(quán)利要求1所述的思維鏈自動構(gòu)建方法，其特征在于，獲取輸入文本，通過語言擴寫生成所述輸入文本對應的段落，針對所述段落中的命名實體生成相關(guān)的問題，并生成所述問題對應的答案，包括：
3.根據(jù)權(quán)利要求1所述的思維鏈自動構(gòu)建方法，其特征在于，所述按照審核規(guī)則對所述答案進行審核篩選出未過審答案，根據(jù)所述未過審答案對所述大模型進行微調(diào)，針對所述未過審答案重新生成新答案直至所述新答案過審，包括：
4.根據(jù)權(quán)利要求1所述的思維鏈自動構(gòu)建方法，其特征在于，所述基于所有所述問題和所有過審答案之間的關(guān)聯(lián)關(guān)系，得到所述輸入文本對應的...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：姬長陣，王強，
申請(專利權(quán))人：浙江大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。