System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請涉及人工智能,尤其涉及一種多角色模型自動標注方法、裝置、終端及介質。
技術介紹
1、近年來,chatgpt等大型語言模型技術逐漸成熟,得益于大模型出色的自然語言生成能力,被用于各種領域任務當中,如金融、法律等領域的數據生成任務中,同時利用大模型對數據進行自動標注,有助于減少的人工和經濟成本。但是在實際應用場景中,面對具體特定領域,如教育領域時,模型標注的標簽與標準的標注標簽存在較大的差異,自動標注準確率低。
技術實現思路
1、本申請提供了一種多角色模型自動標注方法、裝置、終端及介質,用于解決現有的大模型數據自動標注技術標注準確率低的技術問題。
2、為解決上述技術問題,本申請第一方面提供了一種多角色模型自動標注方法,包括:
3、獲取標注樣本數據,按照所述標注樣本數據的標注角色屬性,對所述標注樣本數據進行分類;
4、按照不同的標注角色屬性,利用已分類的標注樣本數據進行模型訓練,分別得到各個標注角色屬性對應的角色標注子模型;
5、根據各個角色標注子模型輸出的預測子標簽概率分布,結合各個角色標注子模型對應的權重參數,將各個預測子標簽進行整合,得到軟標簽;
6、根據損失函數,對各個角色標注子模型進行權重優化,當滿足預設的優化條件,則通過所述各個角色標注子模型整合得到多角色聯合標注模型;
7、獲取待標注數據,將所述待標注數據輸入到所述多角色聯合標注模型,以通過所述多角色聯合標注模型輸出對應的多角色模型標注數據。
>8、優選地,所述損失函數具體為:
9、
10、式中,為總損失值,為角色標注子模型k輸出的預測子標簽與標準子標簽的角色標注損失,為所述軟標簽與各個預測子標簽間的綜合標注損失,為標準子標簽,為第i個樣本經過第k個角色標注子模型輸出預測子標簽的后驗概率,為第i個樣本對應的軟標簽,為第i個樣本在第k個角色標注子模型上的權重,n為標注樣本數據的數量,m為標準子標簽的數量,k為標注角色種類的數量,為用于角色標注損失和綜合標注損失的超參數。
11、優選地,所述軟標簽的計算式具體為:
12、
13、式中,為第i個樣本對應的軟標簽,為第i個樣本經過第k個角色標注子模型輸出預測子標簽的概率分布,為第i個樣本在第k個角色標注子模型上的權重。
14、優選地,所述多角色模型標注數據的計算式具體為:
15、
16、式中,為第i個待標注數據的多角色模型標注數據,為第i個樣本經過第k個角色標注子模型輸出預測子標簽的概率分布,為第i個樣本在第k個角色標注子模型上的權重。
17、優選地,所述各個角色標注子模型對應的權重參數的生成方式包括:
18、根據各個角色標注子模型輸出的預測子標簽概率分布,以所述預測子標簽概率分布作為預設的權重預測網絡模型的輸入特征,輸出角色標注子模型的權重參數。
19、優選地,所述權重預測網絡模型具體為mlp網絡模型。
20、同時,本申請第二方面提供了一種多角色模型自動標注裝置,包括:
21、標注樣本獲取單元,用于獲取標注樣本數據,按照所述標注樣本數據的標注角色屬性,對所述標注樣本數據進行分類;
22、角色模型構建單元,用于按照不同的標注角色屬性,利用已分類的標注樣本數據進行模型訓練,分別得到各個標注角色屬性對應的角色標注子模型;
23、角色綜合預測單元,用于根據各個角色標注子模型輸出的預測子標簽概率分布,結合各個角色標注子模型對應的權重參數,將各個預測子標簽進行整合,得到軟標簽;
24、多角色模型優化單元,用于根據損失函數,對各個角色標注子模型進行權重優化,當滿足預設的優化條件,則通過所述各個角色標注子模型整合得到多角色聯合標注模型;
25、多角色模型自動標注單元,用于獲取待標注數據,將所述待標注數據輸入到所述多角色聯合標注模型,以通過所述多角色聯合標注模型輸出對應的多角色模型標注數據。
26、優選地,還包括:
27、權重參數生成單元,用于根據各個角色標注子模型輸出的預測子標簽概率分布,以所述預測子標簽概率分布作為預設的權重預測網絡模型的輸入特征,輸出角色標注子模型的權重參數。
28、本申請第三方面提供了一種多角色模型自動標注終端,包括:存儲器和處理器;
29、所述存儲器用于存儲程序代碼,所述程序代碼與如本申請第一方面提供的一種多角色模型自動標注方法相對應;
30、所述處理器用于讀取并執行所述程序代碼。
31、本申請第四方面提供了一種計算機可讀存儲介質,所述計算機可讀存儲介質中保存有程序代碼,所述程序代碼用于被處理器讀取并執行,以實現如本申請第一方面提供的一種多角色模型自動標注方法。
32、從以上技術方案可以看出,本申請具有以下優點:
33、本申請提供的技術方案通過引入多角色視角的標注方式,按照特定領域場景的角色分類和知識架構,構建多個不同角色屬性的標注子模型模型,使其能夠從不同的視角對數據進行標注,通過綜合多個角色模型的標注結果,最大限度地減少模型標注與人類標注之間的偏差,且能夠有效解決現有技術中單一視角導致的標注片面性問題,使標注結果更加全面和準確。
本文檔來自技高網...【技術保護點】
1.一種多角色模型自動標注方法,其特征在于,包括:
2.根據權利要求1所述的一種多角色模型自動標注方法,其特征在于,所述損失函數具體為:
3.根據權利要求1所述的一種多角色模型自動標注方法,其特征在于,所述軟標簽的計算式具體為:
4.根據權利要求1所述的一種多角色模型自動標注方法,其特征在于,所述多角色模型標注數據的計算式具體為:
5.根據權利要求1所述的一種多角色模型自動標注方法,其特征在于,所述各個角色標注子模型對應的權重參數的生成方式包括:
6.根據權利要求5所述的一種多角色模型自動標注方法,其特征在于,所述權重預測網絡模型具體為MLP網絡模型。
7.一種多角色模型自動標注裝置,其特征在于,包括:
8.根據權利要求7所述的一種多角色模型自動標注裝置,其特征在于,還包括:
9.一種多角色模型自動標注終端,其特征在于,包括:存儲器和處理器;
10.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質中保存有程序代碼,所述程序代碼用于被處理器讀取并執行,以實現如權利要
...【技術特征摘要】
1.一種多角色模型自動標注方法,其特征在于,包括:
2.根據權利要求1所述的一種多角色模型自動標注方法,其特征在于,所述損失函數具體為:
3.根據權利要求1所述的一種多角色模型自動標注方法,其特征在于,所述軟標簽的計算式具體為:
4.根據權利要求1所述的一種多角色模型自動標注方法,其特征在于,所述多角色模型標注數據的計算式具體為:
5.根據權利要求1所述的一種多角色模型自動標注方法,其特征在于,所述各個角色標注子模型對應的權重參數的生成方式包括:
6.根據權...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。