【技術實現步驟摘要】
本專利技術涉及人工智能，尤其涉及一種金融大模型生成文本的評測方法及裝置。
技術介紹
1、隨著生成式人工智能的快速發展，大語言模型的能力逐漸提升，在各種自然語言生成任務中得到了廣泛應用。
2、最近的趨勢是將大模型引入垂直領域中，如金融領域等，完成風險評測、金融文本分析等任務。隨著更多的垂域大模型推出，迫切需要相應的準確可靠的評測方案，以評測模型在相應領域的能力。
3、現有的金融大模型生成文本的評測技術大多利用單一評測大模型具備的泛化能力，讓單一評測大模型遵循編寫的指令或上下文學習手段，對金融大模型生成的文本內容進行打分，但該過程過于依賴單一評測大模型本身的泛化能力，且單一評測大模型在評測時會存在偏好，使得評測結果不夠客觀，導致評測的精確度低。
技術實現思路
1、本專利技術提供了一種金融大模型生成文本的評測方法及裝置，用于解決現有的金融大模型生成文本的評測技術導致評測的精確度低的技術問題。
2、本專利技術第一方面提供的一種金融大模型生成文本的評測方法，包括：
3、獲取金融文本數據集，所述金融文本數據集包括金融文本數據訓練集和金融文本數據測試集；
4、將所述金融文本數據測試集作為預置訓練轉換器的輸入，輸出多個金融專家評審員身份數據；
5、采用預置相似度函數根據所述金融文本數據測試集中多個金融文本測試數據和各所述金融專家評審員身份數據進行模型分配，確定各所述金融問題文本數據對應的多個機器學習模型；
6、基于
7、基于預置損失函數，采用所述增強金融文本數據集對各所述金融問題文本數據對應的多個機器學習模型進行模型訓練，確定多個目標語言評測模型；
8、將各所述金融文本測試數據分別輸入至預置待評測金融大模型，輸出各所述金融文本測試數據對應的待評測金融大模型生成文本；
9、采用各所述目標語言評測模型對多個所述待評測金融大模型生成文本進行評測，生成各所述待評測金融大模型生成文本對應的文本評測結果。
10、進一步地，所述采用預置相似度函數根據所述金融文本數據測試集中多個金融文本測試數據和各所述金融專家評審員身份數據進行模型分配，確定各所述金融問題文本數據對應的多個機器學習模型，包括：
11、分別對各所述金融文本測試數據和各所述金融專家評審員身份數據進行特征映射，生成各所述金融文本測試數據對應的文本向量表示和各所述金融專家評審員身份數據對應的身份向量表示；
12、采用預置相似度函數根據各所述金融文本測試數據對應的文本向量表示和各所述金融專家評審員身份數據對應的身份向量表示，計算各所述金融文本測試數據與多個所述金融專家評審員身份數據之間的相似度；
13、對各所述金融文本測試數據對應的多個相似度進行降序排序，選取前預置數量的相似度對應的金融專家評審員身份數據作為目標金融專家評審員身份數據；
14、按照預置模型分配數量，分別對各所述金融文本測試數據對應的多個目標金融專家評審員身份數據進行模型分配，確定各所述金融問題文本數據對應的多個機器學習模型。
15、進一步地，所述金融文本數據訓練集包括多個金融文本訓練數據；所述基于預置進化指令法對所述金融文本數據訓練集進行數據增強，生成增強金融文本數據集，包括：
16、采用預置進化指令法對各所述金融文本訓練數據進行反轉和擴充改寫，生成多個增強金融文本數據；
17、根據多個所述增強金融文本數據，構建增強金融文本數據集。
18、進一步地，所述基于預置損失函數，采用所述增強金融文本數據集對各所述金融問題文本數據對應的多個機器學習模型進行模型訓練，確定多個目標語言評測模型，包括：
19、對各所述金融問題文本數據對應的多個機器學習模型進行初始化，確定多個初始語言評測模型；
20、采用各所述初始語言評測模型根據所述增強金融文本數據集，輸出第一樣本總打分；
21、將所述第一樣本總打分代入至預置損失函數并進行求導，確定模型梯度；
22、采用所述模型梯度對各所述初始語言評測模型的模型參數進行微調，確定多個中間語言評測模型；
23、采用各所述中間語言評測模型根據所述增強金融文本數據集，輸出第二樣本總打分；
24、采用所述預置損失函數根據所述第二樣本總打分，計算目標損失值；
25、判斷所述目標損失值是否收斂；
26、若收斂，則將各所述中間語言評測模型作為對應的目標語言評測模型。
27、進一步地，所述相似度的計算過程，具體為：
28、；
29、其中，為金融文本測試數據對應的第j個相似度；為嵌入模型；為第i個金融文本測試數據；為第j個金融專家評審員身份數據；l為金融專家評審員身份數據的總數量。
30、進一步地，所述預置損失函數，具體為：
31、；
32、其中，為第一個語言評測模型對應的模型參數；為第二個語言評測模型對應的模型參數；為第n個語言評測模型對應的模型參數；為預置損失函數，表示真實打分與模型打分的損失函數；為真實得分；為第j個增強金融文本數據的樣本總打分；為大模型的條件概率預測函數；為第j個增強金融文本數據；prompt為評分指令；為第i個語言評測模型對應的模型參數；為第i個語言評測模型輸出的樣本打分。
33、本專利技術第二方面提供的一種金融大模型生成文本的評測裝置，包括：
34、獲取模塊，用于獲取金融文本數據集，所述金融文本數據集包括金融文本數據訓練集和金融文本數據測試集；
35、輸入模塊，用于將所述金融文本數據測試集作為預置訓練轉換器的輸入，輸出多個金融專家評審員身份數據；
36、模型分配模塊，用于采用預置相似度函數根據所述金融文本數據測試集中多個金融文本測試數據和各所述金融專家評審員身份數據進行模型分配，確定各所述金融問題文本數據對應的多個機器學習模型；
37、數據增強模塊，用于基于預置進化指令法對所述金融文本數據訓練集進行數據增強，生成增強金融文本數據集；
38、模型訓練模塊，用于基于預置損失函數，采用所述增強金融文本數據集對各所述金融問題文本數據對應的多個機器學習模型進行模型訓練，確定多個目標語言評測模型；
39、輸出模塊，用于將各所述金融文本測試數據分別輸入至預置待評測金融大模型，輸出各所述金融文本測試數據對應的待評測金融大模型生成文本；
40、評測模塊，用于采用各所述目標語言評測模型對多個所述待評測金融大模型生成文本進行評測，生成各所述待評測金融大模型生成文本對應的文本評測結果。
41、本專利技術第三方面提供的一種計算機設備，包括存儲器及處理器，所述存儲器中儲存有計算機程序，所述計算機程序被所述處理器執行時，使得所述處理器執行如上述任一項所述的金融大模型生本文檔來自技高網...
【技術保護點】
1.一種金融大模型生成文本的評測方法，其特征在于，包括：
2.根據權利要求1所述的金融大模型生成文本的評測方法，其特征在于，所述采用預置相似度函數根據所述金融文本數據測試集中多個金融文本測試數據和各所述金融專家評審員身份數據進行模型分配，確定各所述金融問題文本數據對應的多個機器學習模型，包括：
3.根據權利要求1所述的金融大模型生成文本的評測方法，其特征在于，所述金融文本數據訓練集包括多個金融文本訓練數據；所述基于預置進化指令法對所述金融文本數據訓練集進行數據增強，生成增強金融文本數據集，包括：
4.根據權利要求1所述的金融大模型生成文本的評測方法，其特征在于，所述基于預置損失函數，采用所述增強金融文本數據集對各所述金融問題文本數據對應的多個機器學習模型進行模型訓練，確定多個目標語言評測模型，包括：
5.根據權利要求2所述的金融大模型生成文本的評測方法，其特征在于，所述相似度的計算過程，具體為：
6.根據權利要求1所述的金融大模型生成文本的評測方法，其特征在于，所述預置損失函數，具體為：
7.一種金融大模型生
8.一種計算機設備，其特征在于，包括存儲器及處理器，所述存儲器中儲存有計算機程序，所述計算機程序被所述處理器執行時，使得所述處理器執行如權利要求1-6任一項所述的金融大模型生成文本的評測方法的步驟。
9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被執行時實現如權利要求1-6任一項所述的金融大模型生成文本的評測方法。
10.一種計算機程序產品，其特征在于，所述計算機程序產品包括存儲在非暫態計算機可讀存儲介質上的計算機程序，所述計算機程序包括程序指令，其中，當所述程序指令被計算機執行時，使所述計算機執行如權利要求1-6任一項所述的金融大模型生成文本的評測方法。
...【技術特征摘要】
1.一種金融大模型生成文本的評測方法，其特征在于，包括：
2.根據權利要求1所述的金融大模型生成文本的評測方法，其特征在于，所述采用預置相似度函數根據所述金融文本數據測試集中多個金融文本測試數據和各所述金融專家評審員身份數據進行模型分配，確定各所述金融問題文本數據對應的多個機器學習模型，包括：
3.根據權利要求1所述的金融大模型生成文本的評測方法，其特征在于，所述金融文本數據訓練集包括多個金融文本訓練數據；所述基于預置進化指令法對所述金融文本數據訓練集進行數據增強，生成增強金融文本數據集，包括：
4.根據權利要求1所述的金融大模型生成文本的評測方法，其特征在于，所述基于預置損失函數，采用所述增強金融文本數據集對各所述金融問題文本數據對應的多個機器學習模型進行模型訓練，確定多個目標語言評測模型，包括：
5.根據權利要求2所述的金融大模型生成文本的評測方法，其特征在于，所述相...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。