【技術實現(xiàn)步驟摘要】
本申請涉及人工智能，尤其涉及知識蒸餾方法、裝置、設備、存儲介質(zhì)及計算機程序產(chǎn)品。
技術介紹
1、大規(guī)模語言模型(llms)在少樣本學習能力方面表現(xiàn)出色，但其龐大的規(guī)模使得實際應用中的部署極具挑戰(zhàn)性。特別是截至2024年，openai的gpt-4已知是最大的llm，擁有超過一萬億(1t)個參數(shù)。這種規(guī)模的模型需要顯著更多的內(nèi)存和計算資源，不僅增加了部署的難度，還對基礎設施提出了極高的要求。對于大多數(shù)產(chǎn)品團隊來說，這種計算要求難以承受，尤其是對于需要低延遲性能的應用程序。
2、目前，為了規(guī)避大規(guī)模模型的部署挑戰(zhàn)，實踐者通常選擇部署較小的專用模型，但使用小模型的數(shù)據(jù)不足使得生成的標簽數(shù)據(jù)存在偏差，導致學生模型的學習性能下降。
3、因此，如何提高學生模型的學習性能，是目前亟需解決的一個問題。
技術實現(xiàn)思路
1、本申請的主要目的在于提供一種知識蒸餾方法、裝置、設備、存儲介質(zhì)及計算機程序產(chǎn)品，旨在解決學生模型學習性能下降的技術問題。
2、為實現(xiàn)上述目的，本申請?zhí)岢鲆环N知識蒸餾方法，所述的方法包括：
3、將檢測文本輸入到教師模型，輸出思維鏈和全局關鍵詞，所述思維鏈用于表示教師模型對所述檢測文本的理解和推理過程，所述全局關鍵詞用于表示所述檢測文本中的核心信息和推理思維的知識點；
4、基于所述思維鏈和所述全局關鍵詞，將所述教師模型中的知識傳遞給學生模型。
5、在一實施例中，所述將檢測文本輸入到教師模型，輸出思維鏈和全局關鍵詞的步
6、將檢測文本輸入到教師模型，通過所述教師模型分析所述檢測文本的語義關系和邏輯聯(lián)系，并根據(jù)分析結果構建思維鏈；
7、基于所述思維鏈通過所述教師模型對所述檢測文本進行識別，根據(jù)識別結果從所述檢測文本提取全局關鍵詞，輸出所述思維鏈和所述全局關鍵詞。
8、在一實施例中，所述通過所述教師模型分析所述檢測文本的語義關系和邏輯聯(lián)系，并根據(jù)分析結果構建思維鏈的步驟，包括：
9、對所述檢測文本進行數(shù)據(jù)預處理，得到預處理后文本；
10、利用深度學習模型對所述預處理后文本進行語義分析，得到語義單元及各語義單元之間的語義聯(lián)系；
11、基于所述語義聯(lián)系構建所述各語義單元的邏輯聯(lián)系，并根據(jù)所述邏輯聯(lián)系和所述語義單元構建思維鏈。
12、在一實施例中，所述基于所述思維鏈和所述全局關鍵詞，將所述教師模型中的知識傳遞給學生模型的步驟，包括：
13、將所述思維鏈和全局關鍵詞輸入到待優(yōu)化學生模型中進行訓練，輸出學生思維鏈；
14、根據(jù)所述全局關鍵詞修正所述學生思維鏈，獲得目標學生思維鏈；
15、基于所述目標學生思維鏈，將所述教師模型中的知識傳遞給學生模型。
16、在一實施例中，所述根據(jù)所述全局關鍵詞修正所述學生思維鏈，獲得目標學生思維鏈的步驟，包括：
17、利用所述全局關鍵詞修正所述學生思維鏈，并將修正后的學生思維鏈和所述思維鏈共同輸入到所述待優(yōu)化學生模型中進行迭代訓練，直至獲得目標學生思維鏈，所述目標學生思維鏈與所述思維鏈的偏差小于預設閾值。
18、在一實施例中，所述利用所述全局關鍵詞修正所述學生思維鏈，并將修正后的學生思維鏈和所述思維鏈共同輸入到所述待優(yōu)化學生模型中進行迭代訓練的步驟，包括：
19、利用所述全局關鍵詞對所述學生思維鏈進行修正，將修正后的學生思維鏈和所述思維鏈共同輸入到所述待優(yōu)化學生模型中；
20、根據(jù)修正后的學生思維鏈和所述思維鏈計算所述待優(yōu)化學生模型的損失函數(shù)：
21、
22、其中，llabel表示損失函數(shù)，n表示思維鏈的數(shù)量，表示預測標簽和目標標簽之間的交叉熵損失，f表示待優(yōu)化學生模型，xi表示修正后的學生思維鏈，表示預測標簽；
23、利用所述損失函數(shù)，對所述待優(yōu)化學生模型進行迭代訓練。
24、此外，為實現(xiàn)上述目的，本申請還提出一種知識蒸餾裝置，所述知識蒸餾裝置包括：
25、知識分析模塊，用于將檢測文本輸入到教師模型，輸出思維鏈和全局關鍵詞，所述思維鏈用于表示教師模型對所述檢測文本的理解和推理過程，所述全局關鍵詞用于表示所述檢測文本中的核心信息和推理思維的知識點；
26、知識輸出模塊，用于基于所述思維鏈和所述全局關鍵詞，將所述教師模型中的知識傳遞給學生模型。
27、此外，為實現(xiàn)上述目的，本申請還提出一種知識蒸餾設備，所述設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現(xiàn)如上文所述的知識蒸餾方法的步驟。
28、此外，為實現(xiàn)上述目的，本申請還提出一種存儲介質(zhì)，所述存儲介質(zhì)為計算機可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上文所述的知識蒸餾方法的步驟。
29、此外，為實現(xiàn)上述目的，本申請還提供一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上文所述的知識蒸餾方法的步驟。
30、本申請?zhí)岢龅囊粋€或多個技術方案，至少具有以下技術效果：
31、將檢測文本輸入到教師模型，輸出思維鏈和全局關鍵詞，思維鏈用于表示教師模型對檢測文本的理解和推理過程，全局關鍵詞用于表示檢測文本中的核心信息和推理思維的知識點，基于思維鏈和全局關鍵詞，將教師模型中的知識傳遞給學生模型。通過模擬人類思維過程，將復雜任務分解為一系列簡單步驟，使學生模型可以逐步學習和掌握復雜任務的處理方法，從而提升其在復雜任務中的表現(xiàn)。通過提取全局關鍵詞，模型能夠更全面地捕捉和傳遞知識，提高學生模型的學習效果。通過全局關鍵詞和思維鏈的引入，在有限數(shù)據(jù)條件下有效增強了學生模型的知識表達能力和泛化能力，提高了學生模型的學習性能。
本文檔來自技高網(wǎng)...【技術保護點】
1.一種知識蒸餾方法，其特征在于，所述的方法包括：
2.如權利要求1所述的方法，其特征在于，所述將檢測文本輸入到教師模型，輸出思維鏈和全局關鍵詞的步驟，包括：
3.如權利要求2所述的方法，其特征在于，所述通過所述教師模型分析所述檢測文本的語義關系和邏輯聯(lián)系，并根據(jù)分析結果構建思維鏈的步驟，包括：
4.如權利要求1至3中任一項所述的方法，其特征在于，所述基于所述思維鏈和所述全局關鍵詞，將所述教師模型中的知識傳遞給學生模型的步驟，包括：
5.如權利要求4所述的方法，其特征在于，所述根據(jù)所述全局關鍵詞修正所述學生思維鏈，獲得目標學生思維鏈的步驟，包括：
6.如權利要求5所述的方法，其特征在于，所述利用所述全局關鍵詞修正所述學生思維鏈，并將修正后的學生思維鏈和所述思維鏈共同輸入到所述待優(yōu)化學生模型中進行迭代訓練的步驟，包括：
7.一種知識蒸餾裝置，其特征在于，所述裝置包括：
8.一種知識蒸餾設備，其特征在于，所述設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序
9.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)為計算機可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1至6中任一項所述的知識蒸餾方法的步驟。
10.一種計算機程序產(chǎn)品，其特征在于，所述計算機程序產(chǎn)品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1至6中任一項所述的知識蒸餾方法的步驟。
...【技術特征摘要】
1.一種知識蒸餾方法，其特征在于，所述的方法包括：
2.如權利要求1所述的方法，其特征在于，所述將檢測文本輸入到教師模型，輸出思維鏈和全局關鍵詞的步驟，包括：
3.如權利要求2所述的方法，其特征在于，所述通過所述教師模型分析所述檢測文本的語義關系和邏輯聯(lián)系，并根據(jù)分析結果構建思維鏈的步驟，包括：
4.如權利要求1至3中任一項所述的方法，其特征在于，所述基于所述思維鏈和所述全局關鍵詞，將所述教師模型中的知識傳遞給學生模型的步驟，包括：
5.如權利要求4所述的方法，其特征在于，所述根據(jù)所述全局關鍵詞修正所述學生思維鏈，獲得目標學生思維鏈的步驟，包括：
6.如權利要求5所述的方法，其特征在于，所述利用所述全局關鍵詞修正所述學生思維鏈，并將修正后的...
【專利技術屬性】
技術研發(fā)人員：李雪寧，唐鵬，梁驍俊，
申請(專利權)人：鵬城實驗室，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。