【技術實現步驟摘要】
本申請涉及人工智能，特別涉及一種大語言模型的訓練方法、交互方法、裝置、設備及介質。
技術介紹
1、語言模型（llms）的訓練通常涉及大量的用戶數據，其中可能包含敏感或隱私信息，比如人名、地址、手機號碼等。為解決隱私數據的問題，最常見的方法是對訓練文本進行隱私數據過濾，通過檢測出文本中的隱私信息，刪除帶有隱私信息的文本來避免隱私數據被用于訓練大語言模型。但這種方法會使得訓練數據的完整性有所損害，不僅會導致訓練效果下降，而且還可能影響到模型的預測準確性。
2、因而現有技術還有待改進和提高。
技術實現思路
1、本申請要解決的技術問題在于，針對現有技術的不足，提供一種大語言模型的訓練方法、交互方法、裝置、設備及介質。
2、為了解決上述技術問題，本申請第一方面提供了一種大語言模型的訓練方法，其中，所述的大語言模型的訓練方法具體包括：
3、獲取加密訓練語料集，所述加密訓練語料集包含多個加密訓練語料文檔；
4、基于每個所述加密訓練語料文檔中的實體和/或段落生成合成語料集；
5、將所述合成語料集和所述加密訓練語料集進行組合，得到訓練語料集；
6、通過所述訓練語料集對第一大語言模型進行訓練，獲得加密訓練后的大語言模型。
7、所述的大語言模型的訓練方法，其中，所述獲取加密訓練語料集具體包括：
8、按照隱私權限將原始訓練語料集劃分為若干原始語料庫，并獲取每個原始語料庫對應的密鑰；
9、采用每個原始
10、所述的大語言模型的訓練方法，其中，所述采用每個原始語料庫對應的密鑰對每個原始語料庫中的原始語料文檔進行加密，得到加密訓練語料集具體包括：
11、檢測每個原始語料庫中的每個原始語料文檔中的隱私信息；
12、采用每個原始語料庫對應的密鑰對每個原始語料文檔中的隱私信息進行加密，得到加密訓練語料集。
13、所述的大語言模型的訓練方法，其中，所述基于每個所述加密訓練語料文檔中的實體生成合成語料集具體包括：
14、提取每個所述加密訓練語料文檔的實體集；
15、在每個所述實體集中選取若干實體，并基于每個實體集選取的若干實體生成合成語料文檔；
16、基于生成的所有合成語料文檔確定合成語料集。
17、所述的大語言模型的訓練方法，其中，所述基于每個實體集選取的若干實體生成合成語料文檔具體包括：
18、將每個實體集對應的若干實體和加密訓練語料文檔輸入第二大語言模型；
19、通過所述第二大語言模型輸出合成語料文檔。
20、所述的大語言模型的訓練方法，其中，所述基于每個所述加密訓練語料文檔中的段落生成合成語料集具體包括：
21、根據每個加密訓練語料文檔中的段落篩選所述段落對應的若干相關段落；
22、基于每個段落及其對應的若干相關段落生成合成語料文檔；
23、基于生成的所有合成語料文檔確定合成語料集。
24、所述的大語言模型的訓練方法，其中，所述根據每個加密訓練語料文檔中的段落篩選所述段落對應的若干相關段落具體包括：
25、獲取每個加密訓練語料文檔中的任意兩個段落間的段落相關性；
26、按照段落相關性的順序為所述加密訓練語料文檔中的段落選取若干相關段落。
27、所述的大語言模型的訓練方法，其中，所述獲取每個加密訓練語料文檔中的任意兩個段落間的段落相關性具體包括：
28、對于每個加密訓練語料文檔中的任意兩個段落，獲取每個段落的句向量；
29、基于兩個段落各自對應的句向量計算兩個段落間的語義相似度，并根據所述語義相似度確定所述兩個段落間的段落相關性。
30、所述的大語言模型的訓練方法，其中，所述根據每個加密訓練語料文檔中的段落篩選所述段落對應的若干相關段落具體包括：
31、對于每個加密訓練語料文檔中的任意兩個段落，分別識別每個段落所包含的實體；
32、基于兩個段落各自包含的實體確定兩個段落間的相同實體數量，并根據所述相同實體數量確定所述兩個段落間的段落相關性。
33、所述的大語言模型的訓練方法，其中，所述基于每個段落及其對應的若干相關段落生成合成語料文檔具體包括：
34、將每個段落及其對應的若干相關段落組合，以形成段落文本；
35、將每個段落對應的所述段落文本輸入第三大語言模型，通過第三大語言模型輸出合成語料文檔。
36、所述的大語言模型的訓練方法，其中，所述通過所述訓練語料集對第一大語言模型進行訓練，獲得加密訓練后的大語言模型具體包括：
37、對所述訓練語料集中的每個訓練語料進行分詞，得到分詞后的訓練語料；
38、基于分詞后的訓練語料對所述第一大語言模型進行訓練，得到經過加密訓練后的大語言模型。
39、所述的大語言模型的訓練方法，其中，所述對所述訓練語料集中的每個訓練語料進行分詞，得到分詞后的訓練語料具體包括：
40、獲取所述第一大語言模型的詞表和密文令牌；
41、根據所述詞表和所述密文令牌構建所述第一大語言模型的加密詞表；
42、通過所述第一大語言模型的加密詞表對每個訓練語料文檔進行分詞處理，以得到分詞后的訓練語料文檔。
43、本申請第二方面提供了一種面向大語言模型的交互方法，使用通過如上所述的大語言模型的訓練方法訓練得到的加密訓練后的大語言模型，所述面向大語言模型的交互方法具體包括：
44、獲取用戶交互的問題語料，所述問題語料中的隱私信息采用密文表示；
45、將所述問題語料輸入所述大語言模型，通過所述大語言模型生成答復語料，并將所述答復語料交互給用戶，所述答復語料中的隱私信息采用密文表示。
46、本申請第三方面提供了一種大語言模型的訓練裝置，其中，所述的大語言模型的訓練裝置具體包括：
47、獲取模塊，用于獲取加密訓練語料集，所述加密訓練語料集包含多個加密訓練語料文檔；
48、生成模塊，用于基于每個所述加密訓練語料文檔中的實體和/或段落生成合成語料集，將所述合成語料集和所述加密訓練語料集進行組合，得到訓練語料集；
49、訓練模塊，用于通過所述訓練語料集對第一大語言模型進行訓練，獲得加密訓練后的大語言模型。
50、本申請第四方面提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執行，以實現如上任一所述的大語言模型的訓練方法中的步驟，和/或，以實現如上所述的面向大語言模型的交互方法的步驟。
51、本申請第五方面提供了一種終端設備，其包括：處理器和存儲器；
52、所述存儲器上存儲有可被所述處理器執行的計算機可本文檔來自技高網...
【技術保護點】
1.一種大語言模型的訓練方法，其特征在于，所述的大語言模型的訓練方法具體包括：
2.根據權利要求1所述的大語言模型的訓練方法，其特征在于，所述獲取加密訓練語料集具體包括：
3.根據權利要求2所述的大語言模型的訓練方法，其特征在于，所述采用每個原始語料庫對應的密鑰對每個原始語料庫中的原始語料文檔進行加密，得到加密訓練語料集具體包括：
4.根據權利要求1所述的大語言模型的訓練方法，其特征在于，所述基于每個所述加密訓練語料文檔中的實體生成合成語料集具體包括：
5.根據權利要求4所述的大語言模型的訓練方法，其特征在于，所述基于每個實體集選取的若干實體生成合成語料文檔具體包括：
6.根據權利要求1所述的大語言模型的訓練方法，其特征在于，所述基于每個所述加密訓練語料文檔中的段落生成合成語料集具體包括：
7.根據權利要求6所述的大語言模型的訓練方法，其特征在于，所述根據每個加密訓練語料文檔中的段落篩選所述段落對應的若干相關段落具體包括：
8.根據權利要求7所述的大語言模型的訓練方法，其特征在于，所述獲取每個加密
9.根據權利要求6所述的大語言模型的訓練方法，其特征在于，所述根據每個加密訓練語料文檔中的段落篩選所述段落對應的若干相關段落具體包括：
10.根據權利要求6所述的大語言模型的訓練方法，其特征在于，所述基于每個段落及其對應的若干相關段落生成合成語料文檔具體包括：
11.根據權利要求1-10任一項所述的大語言模型的訓練方法，其特征在于，所述通過所述訓練語料集對第一大語言模型進行訓練，獲得加密訓練后的大語言模型具體包括：
12.根據權利要求11所述的大語言模型的訓練方法，其特征在于，所述對所述訓練語料集中的每個訓練語料進行分詞，得到分詞后的訓練語料具體包括：
13.一種面向大語言模型的交互方法，其特征在于，使用通過如權利要求1-12任意一項所述的大語言模型的訓練方法訓練得到加密訓練后的大語言模型，所述面向大語言模型的交互方法具體包括：
14.一種大語言模型的訓練裝置，其特征在于，所述的大語言模型的訓練裝置具體包括：
15.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執行，以實現如權利要求1-12任意一項所述的大語言模型的訓練方法中的步驟，和/或以實現如權利要求13所述的面向大語言模型的交互方法的步驟。
16.一種終端設備，其特征在于，包括：處理器和存儲器；
...【技術特征摘要】
1.一種大語言模型的訓練方法，其特征在于，所述的大語言模型的訓練方法具體包括：
2.根據權利要求1所述的大語言模型的訓練方法，其特征在于，所述獲取加密訓練語料集具體包括：
3.根據權利要求2所述的大語言模型的訓練方法，其特征在于，所述采用每個原始語料庫對應的密鑰對每個原始語料庫中的原始語料文檔進行加密，得到加密訓練語料集具體包括：
4.根據權利要求1所述的大語言模型的訓練方法，其特征在于，所述基于每個所述加密訓練語料文檔中的實體生成合成語料集具體包括：
5.根據權利要求4所述的大語言模型的訓練方法，其特征在于，所述基于每個實體集選取的若干實體生成合成語料文檔具體包括：
6.根據權利要求1所述的大語言模型的訓練方法，其特征在于，所述基于每個所述加密訓練語料文檔中的段落生成合成語料集具體包括：
7.根據權利要求6所述的大語言模型的訓練方法，其特征在于，所述根據每個加密訓練語料文檔中的段落篩選所述段落對應的若干相關段落具體包括：
8.根據權利要求7所述的大語言模型的訓練方法，其特征在于，所述獲取每個加密訓練語料文檔中的任意兩個段落間的段落相關性具體包括：
9.根據權利要求6所述的大語言模型的訓練方法，其特征在于，所述根據每個加密訓練語料文檔...
【專利技術屬性】
技術研發人員：徐鋮晉，江旭暉，林舟馳，郭健，
申請(專利權)人：粵港澳大灣區數字經濟研究院福田，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。