【技術實現步驟摘要】
本專利技術涉及人工智能，尤其涉及一種大語言模型垂類領域優化方法、裝置、電子設備及存儲介質。
技術介紹
1、大語言模型是一種利用內部結構和海量參數進行自然語言生成的人工智能技術。大語言模型因為其處理文本生成、邏輯推理和代碼編寫等任務的卓越能力，目前被廣泛的應用在金融、醫療、信息技術等諸多可依托互聯網，信息量大的領域。
2、小樣本專用知識是指互聯網上少見，總量小，未被用于通用大語言基座模型訓練的知識。小樣本專用知識主要存在于航天、武器制造、尖端先進科學等領域。
3、目前大語言模型對通用知識做問答等處理的能力良好，但對小樣本專用知識的處理能力差，回答用戶給出的小樣本專用知識相關問題的正確率低下。不能有效的利用小樣本專用知識的缺點極大限制了大語言模型涉及工作秘密或國家機密的涉密內網中的應用場景，使得其無法輔助尖端科研工作。目前，學術界主要依賴于結構化參數微調方案進行大語言模型小樣本專用知識適配，其中效果最佳的代表為p-tuning和lora。
4、p-tuning將小樣本專用知識作為額外訓練語料，微調大語言模型的結構化參數。p-tuning的優點在于每次訓練的過程都凍結會凍結大部分參數，僅更新前綴(prefix)部分的少量參數，這樣通過對少量參數的調整，即可讓大語言模型適配小樣本專用知識。
5、lora將小樣本專用知識作為額外訓練語料，微調大語言模型的結構化參數。lora的優點在于在大語言模型內部的每個transformer模塊注入旁路，將需要維護的參數增量設置為兩個低秩矩陣的乘積，令大語
6、p-tuning和lora均通過一些利用大語言模型結構化參數的技巧，使得在低算力條件下，可以通過調整少量參數，完成大語言模型對小樣本專用知識的適配。
7、由此可見，當前大語言模型對小樣本專用知識的適配僅限于對大語言模型結構化參數，及transformer內部參數的優化。這種類型的適配沒有對大語言模型根據小樣本專用知識對問題給出回答的過程進行數理抽象，不能有效的分析對大語言模型小樣本專用知識處理的優化維度和效果。而且，由于當前方案均為對大語言模型結構化參數調整的單維優化方案，其僅調整少量參數進行大語言模型專用知識適配的做法會使模型對專用知識嚴重過擬合，導致大語言模型喪失通用能力(即回答常識性問題能力)。同時，當前技術方案對小樣本專用知識的利用方式為直接作為訓練語料。當專用知識增加時，當前方案無法在現有模型基礎上擴展，需要利用所有專用知識進行重新訓練。此外，當前方案也無法有效收集大語言模型就知識的問答信息，遷移訓練垂類模型。
8、總來說，現有方案無法在保持大語言模型通用能力的前提下，使大語言模型具備多種小樣本專用知識利用能力。
技術實現思路
1、本專利技術實施例提供一種大語言模型垂類領域優化方法，可以有效解決現有方案無法在保持大語言模型通用能力的前提下，使大語言模型具備多種小樣本專用知識利用能力的問題。通過垂類領域的小樣本專用知識來為大語言模型提供知識文本，利用回答文本與對應的知識文本構建的提示文本向大語言模型進行提問，關聯數據庫中存儲問題文本、知識文本以及回答文本構成的多元組對，利用多元組對來進行多維復合優化，可以確定大語言模型在各垂類領域小樣本專用知識應用的優化方向，在保證大模型通用能力的基礎上，解決小樣本專用知識適配性不足的問題，同時，還可以垂類領域的大語言模型訓練和垂類領域的知識擴展。
2、本專利技術實施例提供一種大語言模型垂類領域優化方法，所述大語言模型垂類領域優化方法包括：
3、獲取大語言模型針對提示文本的回答文本，所述提示文本包括問題文本以及與所述問題文本對應的知識文本，所述問題文本為垂類領域的問題文本，所述知識文本為所述垂類領域的知識文本，所述知識文本通過向量嵌入層以及專用知識向量數據庫進行匹配得到；
4、大語言模型的每次回答完成，根據所述回答文本、所述問題文本以及所述知識文本確定出一個多元組對，并將所述多元組對記錄到關聯數據庫中；
5、每當所述關聯數據庫中收集到t個所述多元組對時，根據所述關聯數據庫中的所有所述多元組對來對所述大語言模型以及所述向量嵌入層進行優化。
6、可選的，在所述獲取大語言模型針對提示文本的回答文本的步驟之前，所述方法還包括：
7、通過向量嵌入層將用戶輸入的問題文本轉換為問題向量；
8、根據所述問題向量在所述垂類領域的專用知識向量數據庫中進行檢索匹配，匹配得到與所述問題向量對應的知識文本，不同的所述垂類領域對應不同的專用知識向量數據庫；
9、基于所述問題文本以及所述知識文本生成提示文本。
10、可選的，在所述根據所述問題向量在所述垂類領域的專用知識向量數據庫中進行檢索匹配，匹配得到與所述問題向量對應的知識文本的步驟之前，所述方法還包括：
11、獲取所述垂類領域的小樣本知識集，所述小樣本知識集包括所述垂類領域的知識文本；
12、將所述小樣本知識集放置于指定目錄，形成小樣本專用知識庫；
13、通過所述向量嵌入層將所述小樣本專用知識庫中的知識文本轉換為知識向量，并建立所述知識文本與所述知識向量之間的關聯關系，得到所述垂類領域的專用知識向量數據庫。
14、可選的，所述通過向量嵌入層將用戶輸入的問題文本轉換為問題向量的步驟包括：
15、獲取用戶輸入的初始問題文本；
16、根據所述初始問題文本的近鄰問題窗口，確定出待嵌入的問題文本；
17、通過向量嵌入層將所述待嵌入的問題文本轉換為問題向量。
18、可選的，所述大語言模型的每次回答完成，根據所述回答文本、所述問題文本以及所述知識文本確定出一個多元組對的步驟包括：
19、在大語言模型的每次回答完成后，記錄所述回答文本、所述問題文本、所述知識文本以及文本庫名，得到<u，l，n，a>多元組對，其中，u為問題文本，l為文本庫名，n為知識文本，a為回答文本。
20、可選的，所述根據所述關聯數據庫中的所有所述多元組對來對所述大語言模型進行優化的步驟還包括：
21、在所述關聯數據庫中的所有所述多元組對中，提取出所述問題文本以及所述回答文本作為語料樣本；
22、基于所述語料樣本，對所述大語言模型的結構化參數進行低秩分解微調，完成對所述大語言模型的結構化參數的更新，得到優化后的所述大語言模型。
23、可選的，所述根據所述關聯數據庫中的所有所述多元組對來對所述向量嵌入層進行優化的步驟包括：
24、在所述關聯數據庫中的所有所述多元組對中，提取出所述問題文本與所述回答文本作為第一子元組對，提取出所述問題文本與所述知識文本作為第二子元組對，提取出所述回答文本與所述知識文本作為第三子元組對；
25、基于所述第一子元組對、所述第二子元組對以及所述第三子元組對來對所述本文檔來自技高網...
【技術保護點】
1.一種大語言模型垂類領域優化方法，其特征在于，所述大語言模型垂類領域優化方法包括：
2.如權利要求1所述的大語言模型垂類領域優化方法，其特征在于，在所述獲取大語言模型針對提示文本的回答文本的步驟之前，所述方法還包括：
3.如權利要求2所述的大語言模型垂類領域優化方法，其特征在于，在所述根據所述問題向量在所述垂類領域的專用知識向量數據庫中進行檢索匹配，匹配得到與所述問題向量對應的知識文本的步驟之前，所述方法還包括：
4.如權利要求2所述的大語言模型垂類領域優化方法，其特征在于，所述通過向量嵌入層將用戶輸入的問題文本轉換為問題向量的步驟包括：
5.如權利要求1所述的大語言模型垂類領域優化方法，其特征在于，所述大語言模型的每次回答完成，根據所述回答文本、所述問題文本以及所述知識文本確定出一個多元組對的步驟包括：
6.如權利要求5所述的大語言模型垂類領域優化方法，其特征在于，所述根據所述關聯數據庫中的所有所述多元組對來對所述大語言模型進行優化的步驟還包括：
7.如權利要求4所述的大語言模型垂類領域優化方法，其特征在
8.一種大語言模型垂類領域優化裝置，其特征在于，所述大語言模型垂類領域優化裝置包括：
9.一種電子設備，其特征在于，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如權利要求1至7中任一項所述的大語言模型垂類領域優化方法中的步驟。
10.一種計算機存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至7中任一項所述的大語言模型垂類領域優化方法中的步驟。
...【技術特征摘要】
1.一種大語言模型垂類領域優化方法，其特征在于，所述大語言模型垂類領域優化方法包括：
2.如權利要求1所述的大語言模型垂類領域優化方法，其特征在于，在所述獲取大語言模型針對提示文本的回答文本的步驟之前，所述方法還包括：
3.如權利要求2所述的大語言模型垂類領域優化方法，其特征在于，在所述根據所述問題向量在所述垂類領域的專用知識向量數據庫中進行檢索匹配，匹配得到與所述問題向量對應的知識文本的步驟之前，所述方法還包括：
4.如權利要求2所述的大語言模型垂類領域優化方法，其特征在于，所述通過向量嵌入層將用戶輸入的問題文本轉換為問題向量的步驟包括：
5.如權利要求1所述的大語言模型垂類領域優化方法，其特征在于，所述大語言模型的每次回答完成，根據所述回答文本、所述問題文本以及所述知識文本確定出一個多元組對的步驟包括：
6.如權利要求5...
【專利技術屬性】
技術研發人員：王昊，曾思良，薛振偉，朱行林，吳飛，王寧，
申請(專利權)人：北京應用物理與計算數學研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。