【技術實現步驟摘要】
本申請涉及人工智能領域，尤其涉及一種大模型訓練方法、裝置、電子設備、存儲介質及程序產品。
技術介紹
1、開源的通用大模型技術發展迅速，展現出了強大的通用和泛化能力。這些大模型在自然語言處理、圖像識別等多個領域都取得了顯著的成果。
2、目前，在開發特定行業或特定場景的大模型時一般是采用全量的行業或領域的數據在計算機設備上對大模型進行微調訓練。
3、然而，現有技術中，大模型的訓練開發，存在計算機設備處理效率低，計算資源浪費的問題。
技術實現思路
1、本申請提供一種大模型訓練方法、裝置、電子設備、存儲介質及程序產品，用以解決現有技術存在計算機設備處理效率低，計算資源浪費的技術問題。
2、第一方面，本申請提供一種大模型訓練方法，包括：
3、獲取知識語料；
4、根據預設的角色提示詞、轉化提示詞、標準化提示詞和答復提示詞，將所述知識語料轉換為多個問答對，其中每個問答對包括一個標準問題和所述標準問題對應的標準答案；
5、將所述多個問答對中的多個標準問題依次輸入至待訓練大模型中，以輸出所述多個標準問題對應的多個測試答案；
6、根據預設的評測提示詞和所述多個標準問題對應的多個標準答案，分別對所述多個測試答案進行評測，以得到多個評測結果；
7、篩選出所有評測結果為回答錯誤的測試答案，并將所述測試答案對應的標準問題所屬的問答對保存至訓練問答對集；
8、采用所述訓練問答對集對所述待訓練大模型進行微調
9、保存所述訓練好的大模型為目標大模型。
10、可選地，如上所述的方法，所述根據預設的角色提示詞、轉化提示詞、標準化提示詞和答復提示詞，將所述知識語料轉換為多個問答對，包括：將預設的角色提示詞輸入至預設的輔助大模型中，以設置所述預設的輔助大模型的角色；將預設的轉化提示詞和所述知識語料輸入至所述預設的輔助大模型中，以輸出所述知識語料對應的多個問題；將預設的標準化提示詞和所述多個問題輸入至所述預設的輔助大模型中進行標準化處理，以輸出多個標準問題；將預設的答復提示詞、所述多個標準問題和所述知識語料輸入至所述預設的輔助大模型中，以輸出多個問答對。
11、可選地，如上所述的方法，所述根據預設的評測提示詞和所述多個標準問題對應的多個標準答案，分別對所述多個測試答案進行評測，以得到多個評測結果，包括：針對所述多個問答對中的每個問答對，將所述問答對的標準問題、所述標準問題對應的標準答案和所述標準問題對應的測試答案，創建為三元組，以得到多個三元組；將預設的評測提示詞和所述多個三元組輸入至預設的輔助大模型，以輸出多個評測結果。
12、可選地，如上所述的方法，所述將預設的評測提示詞和所述多個三元組輸入至預設的輔助大模型，以輸出多個評測結果，包括：依次遍歷所述多個三元組，并針對遍歷到的三元組，執行以下步驟：采用預設的輔助大模型，根據預設的評測提示詞，計算所述三元組中的測試答案和標準答案的相關性；通過所述預設的輔助大模型，若判定所述相關性達到預設的相關性閾值，則生成回答正確的評測結果；若判定所述相關性未達到預設的相關性閾值，則生成回答錯誤的評測結果。
13、可選地，如上所述的方法，所述采用所述訓練問答對集對所述待訓練大模型進行微調訓練，以得到訓練好的大模型，包括：根據預設的超參數，配置所述待訓練大模型的批量大小、學習率和訓練輪數；將所述訓練問答對集輸入至所述待訓練大模型中；采用低階適應算法，按照所述批量大小和學習率，對所述待訓練大模型進行微調訓練，直至訓練次數達到所述訓練輪數，以得到訓練好的大模型。
14、可選地，如上所述的方法，所述預設的輔助大模型具有邏輯推理能力。
15、第二方面，本申請提供一種大模型訓練裝置，包括：
16、獲取模塊，用于獲取知識語料；
17、轉換模塊，用于根據預設的角色提示詞、轉化提示詞、標準化提示詞和答復提示詞，將所述知識語料轉換為多個問答對，其中每個問答對包括一個標準問題和所述標準問題對應的標準答案；
18、輸出模塊，用于將所述多個問答對中的多個標準問題依次輸入至待訓練大模型中，以輸出所述多個標準問題對應的多個測試答案；
19、評測模塊，用于根據預設的評測提示詞和所述多個標準問題對應的多個標準答案，分別對所述多個測試答案進行評測，以得到多個評測結果；
20、篩選模塊，用于篩選出所有評測結果為回答錯誤的測試答案，并將所述測試答案對應的標準問題所屬的問答對保存至訓練問答對集；
21、訓練模塊，用于采用所述訓練問答對集對所述待訓練大模型進行微調訓練，以得到訓練好的大模型；
22、保存模塊，用于保存所述訓練好的大模型為目標大模型。
23、第三方面，本申請提供一種計算機設備，包括：處理器，以及與所述處理器通信連接的存儲器；
24、所述存儲器存儲計算機執行指令；
25、所述至少一個處理器執行所述存儲器存儲的計算機執行指令，使得所述至少一個處理器執行如上第一方面以及第一方面各種可能的設計所述的大模型訓練方法。
26、第四方面，本申請提供一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有計算機執行指令，所述計算機執行指令被處理器執行時用于實現如上第一方面以及第一方面各種可能的設計所述的方法。
27、第五方面，本申請提供一種計算機程序產品，包括計算機程序，該計算機程序被處理器執行時實現如上第一方面以及第一方面各種可能的設計所述的方法。
28、本申請提供的大模型訓練方法、裝置、電子設備、存儲介質及程序產品，通過根據預設的評測提示詞和多個標準問題對應的多個標準答案，分別對多個測試答案進行評測，以得到多個評測結果；篩選出所有評測結果為回答錯誤的測試答案，并將測試答案對應的標準問題所屬的問答對保存至訓練問答對集；采用訓練問答對集對待訓練大模型進行微調訓練，以得到訓練好的大模型，能夠提高計算機設備的處理效率，節省計算資源。
本文檔來自技高網...【技術保護點】
1.一種大模型訓練方法，其特征在于，應用于計算機設備，包括：
2.根據權利要求1所述的方法，其特征在于，所述根據預設的角色提示詞、轉化提示詞、標準化提示詞和答復提示詞，將所述知識語料轉換為多個問答對，包括：
3.根據權利要求1所述的方法，其特征在于，所述根據預設的評測提示詞和所述多個標準問題對應的多個標準答案，分別對所述多個測試答案進行評測，以得到多個評測結果，包括：
4.根據權利要求3所述的方法，其特征在于，所述將預設的評測提示詞和所述多個三元組輸入至預設的輔助大模型，以輸出多個評測結果，包括：
5.根據權利要求1至4任一項所述的方法，其特征在于，所述采用所述訓練問答對集對所述待訓練大模型進行微調訓練，以得到訓練好的大模型，包括：
6.根據權利要求2或4所述的方法，其特征在于，所述預設的輔助大模型具有邏輯推理能力。
7.一種大模型訓練裝置，其特征在于，應用于計算機設備，包括：
8.一種計算機設備，其特征在于，包括：處理器，以及與所述處理器通信連接的存儲器；
9.一種計算機可讀存儲介質
10.一種計算機程序產品，包括計算機程序，其特征在于，該計算機程序被處理器執行時實現如權利要求1至6任一項所述的方法。
...【技術特征摘要】
1.一種大模型訓練方法，其特征在于，應用于計算機設備，包括：
2.根據權利要求1所述的方法，其特征在于，所述根據預設的角色提示詞、轉化提示詞、標準化提示詞和答復提示詞，將所述知識語料轉換為多個問答對，包括：
3.根據權利要求1所述的方法，其特征在于，所述根據預設的評測提示詞和所述多個標準問題對應的多個標準答案，分別對所述多個測試答案進行評測，以得到多個評測結果，包括：
4.根據權利要求3所述的方法，其特征在于，所述將預設的評測提示詞和所述多個三元組輸入至預設的輔助大模型，以輸出多個評測結果，包括：
5.根據權利要求1至4任一項所述的方法，其特征在于，所述采用所述訓練問答對集對所述待...
【專利技術屬性】
技術研發人員：劉兆祥，劉想，王愷，廉士國，
申請(專利權)人：中國聯合網絡通信集團有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。