【技術實現步驟摘要】
本專利技術屬于數據處理，尤其涉及基于遷移學習模型的基于遷移學習模型的實體關系抽取方法、裝置、設備及介質。
技術介紹
1、隨著信息技術的飛速發展，大數據時代的到來，如何從海量文本信息中高效、準確地抽取實體關系，成為自然語言處理（nlp）領域的重要研究方向?；谶w移學習模型的實體關系抽取在知識圖譜構建、智能問答系統、信息檢索等多個應用場景中發揮著關鍵作用。
2、目前，機器學習算法在基于遷移學習模型的實體關系抽取任務中已得到廣泛應用。傳統的機器學習方法通過從訓練數據集中提取特征，并利用這些特征訓練分類器或回歸模型，以實現實體關系的自動識別。
3、遷移學習是一種將源域（或源任務）中學習到的知識遷移到目標域（或目標任務）中的技術。在基于遷移學習模型的實體關系抽取任務中，遷移學習可以幫助解決標注數據稀缺、領域差異大等問題。
4、當前無法有效的將機器學習和遷移學習模型相融合來實現基于遷移學習模型的實體關系抽取，而且在進行基于遷移學習模型的實體關系抽取過程中，雖然可以使用網格搜索算法進行數據參數遍歷，來解決融合的問題，但是相關的網格搜索算法計算量大、耗時長，且難以能找到全局最優解。對于遷移學習來講，雖然能夠利用源域或源任務中的知識來輔助目標域或目標任務的學習，但如何高效地遷移知識并避免負遷移，即源域知識對目標域學習產生負面影響是當前需要解決的問題。
技術實現思路
1、本專利技術提供基于遷移學習模型的實體關系抽取方法，方法通過利用源領域豐富的標注數據和領域知識，可
2、基于遷移學習模型的實體關系抽取方法包括：
3、獲取原始數據，對原始數據進行預處理，并對數據的實體關系進行標注，生成有標簽的訓練數據集，從訓練數據集中提取出預設特征，作為機器學習算法的輸入，捕捉特征中的實體關系；
4、利用機器學習算法在知識圖譜中構建實體關系處理任務；
5、構建遷移學習模型，基于遷移學習模型將源域或源任務中的知識遷移學習到目標域或目標任務中，來初始化或輔助目標領域模型的訓練；
6、將機器學習算法與遷移學習模型相融合，利用網格搜索算法對機器學習算法的參數和遷移學習模型的遷移策略進行聯合調優，以找到相似度滿足預設閾值的參數組合，并確定知識圖譜的源域和目標域，再通過特征遷移和機器學習算法實現實體關系群的遷移。
7、進一步需要說明的是，對原始數據進行預處理的方式包括：
8、對數據篩選與過濾，剔除無效、重復或不完整的數據；
9、對數據格式進行標準化，并進行缺失值處理、重復值處理以及異常值檢測與處理。
10、進一步需要說明的是，對數據的實體關系進行標注的方式包括：基于監督學習任務，對具有實體關系的數據進行標注。
11、進一步需要說明的是，所述機器學習算法包括：分類算法、聚類算法以及序列標注算法。
12、進一步需要說明的是，構建遷移學習模型之后還包括：
13、定義未標注的數據集s和訓練數據集t：
14、未標注數據集；
15、其中，k是集合s中的元素個數；
16、訓練數據集t劃分為兩個子集合：
17、
18、
19、其中，c(x)是實例x的真實類標，ta是輔助訓練數據集，tb是目標訓練數據集；
20、n和m分別是輔助訓練數據集和目標訓練數據集的大小，合并起來的訓練數據集t={(xi,c(xi))}定義為：
21、；
22、合并的訓練數據集t=ta∪tb；
23、給定目標訓練數據集tb，輔助訓練數據ta以及未標注的測試數據集s，確認目標為訓練分類器；
24、利用tradaboost算法，對訓練數據集t中的每一個樣例賦予一權重；
25、當一個源域中的樣本被錯誤的分類之后，提高錯誤分類樣本的權重；
26、當輔助數據集中的一個樣本被錯誤的分類時，降低所述樣本在分類器中的權重，訓練分類器。
27、進一步需要說明的是，方法中，采用平均法將機器學習算法和遷移學習模型的輸出進行融合；
28、具體包括：
29、選定多個不同的機器學習算法和遷移學習模型；
30、對每個選定的機器學習算法和遷移學習模型使用訓練數據集進行獨立訓練；
31、基于驗證集或測試集對訓練好的機器學習算法和遷移學習模型進行預測，分別得到機器學習算法的輸出結果和遷移學習模型的輸出結果；
32、給機器學習算法和遷移學習模型分配相同的權重1/n，其中，n是算法模型的數量；
33、采用平均法，對于回歸問題或分類問題的概率輸出，并計算所有算法模型預測結果的算術平均值作為最終預測；
34、最終預測，為模型i的預測結果，得到訓練好的集成模型。
35、進一步需要說明的是，聯合調優方式包括：
36、對訓練好的集成模型定義超參數空間，確定調優超參數，并為每個超參數定義取值范圍；
37、基于機器學習算法構建調優模型；
38、選擇一個或多個評估指標來衡量調優模型的性能；
39、使用網格搜索算法遍歷所有超參數的組合，結合交叉驗證方式，將訓練數據集分成多個子集，每個子集輪流作為測試集，而其余作為訓練集；
40、對于每組超參數，使用訓練集數據訓練調優模型，并在驗證集或通過交叉驗證得到的測試集上評估調優模型的性能，記錄每組超參數組合的評估結果，并找到滿足預設條件的超參數組合；
41、使用滿足預設條件的超參數組合在訓練集數據上重新訓練調優模型，并在獨立的測試集上驗證調優模型的性能；
42、執行迭代優化，通過多次迭代訓練和調整調優模型結構，通過發掘相似場景的關系，找到兩組相似度滿足預設閾值的參數組合，即關系群，確定源域和目標域，并利用機器學習算法和特征遷移實現關系群遷移。
43、本申請還提供基于遷移學習模型的實體關系抽取裝置，裝置包括：
44、數據處理模塊，用于獲取原始數據，對原始數據進行預處理，并對數據的實體關系進行標注，生成有標簽的訓練數據集，從訓練數據集中提取出預設特征，作為機器學習算法的輸入，捕捉特征中的實體關系；
45、任務構建模塊，用于利用機器學習算法在知識圖譜中構建實體關系處理任務；
46、模塊訓練模塊，用于構建遷移學習模型，基于遷移學習模型將源域或源任務中的知識遷移學習到目標域或目標任務中，來初始化或輔助目標領域模型的訓練；
47、特征遷移模塊，用于將機器學習算法與遷移學習模型相融合，利用網格搜索算法對機器學習算法的參數和遷移學習模型的遷移策略進行聯合調優，以找到相似度滿足預設閾值的參數組合，并確定知識圖譜的源域和目標域，再通過特征遷本文檔來自技高網...
【技術保護點】
1.基于遷移學習模型的實體關系抽取方法，其特征在于，方法包括：
2.根據權利要求1所述的基于遷移學習模型的實體關系抽取方法，其特征在于，對原始數據進行預處理的方式包括：
3.根據權利要求1所述的基于遷移學習模型的實體關系抽取方法，其特征在于，對數據的實體關系進行標注的方式包括：基于監督學習任務，對具有實體關系的數據進行標注。
4.根據權利要求1所述的基于遷移學習模型的實體關系抽取方法，其特征在于，所述機器學習算法包括：分類算法、聚類算法以及序列標注算法。
5.根據權利要求1所述的基于遷移學習模型的實體關系抽取方法，其特征在于，構建遷移學習模型之后還包括：
6.根據權利要求1所述的基于遷移學習模型的實體關系抽取方法，其特征在于，方法中，采用平均法將機器學習算法和遷移學習模型的輸出進行融合；
7.根據權利要求6所述的基于遷移學習模型的實體關系抽取方法，其特征在于，聯合調優方式包括：
8.基于遷移學習模型的實體關系抽取裝置，其特征在于，裝置用于實現如權利要求1至7任一項所述的基于遷移學習模型的實體關系抽
9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至7任一項所述基于遷移學習模型的實體關系抽取方法的步驟。
10.一種存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述基于遷移學習模型的實體關系抽取方法的步驟。
...【技術特征摘要】
1.基于遷移學習模型的實體關系抽取方法，其特征在于，方法包括：
2.根據權利要求1所述的基于遷移學習模型的實體關系抽取方法，其特征在于，對原始數據進行預處理的方式包括：
3.根據權利要求1所述的基于遷移學習模型的實體關系抽取方法，其特征在于，對數據的實體關系進行標注的方式包括：基于監督學習任務，對具有實體關系的數據進行標注。
4.根據權利要求1所述的基于遷移學習模型的實體關系抽取方法，其特征在于，所述機器學習算法包括：分類算法、聚類算法以及序列標注算法。
5.根據權利要求1所述的基于遷移學習模型的實體關系抽取方法，其特征在于，構建遷移學習模型之后還包括：
6.根據權利要求1所述的基于遷移學習模型的實體關系抽取方法，其特征在于...
【專利技術屬性】
技術研發人員：賈曉豐，章敏，張健楓，江茜，王睿宇，
申請(專利權)人：北京市大數據中心，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。