【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及數(shù)據(jù)處理，特別涉及一種基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法和裝置。
技術(shù)介紹
1、大語(yǔ)言模型(large?language?models，llms)常見(jiàn)的有bert系列模型、bart系列模型、gpt系列模型、t5系列模型、文心系列模型等。這些大語(yǔ)言模型被廣泛應(yīng)用于多種自然語(yǔ)言處理(natural?language?processing,nlp)任務(wù)中，事件抽取(event?extraction,ee)任務(wù)就是其中的一類(lèi)典型任務(wù)。ee任務(wù)其本質(zhì)就是對(duì)非結(jié)構(gòu)化文本進(jìn)行事件要素提取；這里所說(shuō)的事件要素包含事件類(lèi)型、觸發(fā)詞以及事件元素(又稱(chēng)論元)集，其中，事件元素集由多個(gè)事件元素組成，每個(gè)事件元素又由對(duì)應(yīng)的元素類(lèi)型和元素文本(或角色文本)組成，每類(lèi)事件類(lèi)型對(duì)應(yīng)的事件元素集包含的元素類(lèi)型也不盡相同。
2、目前基于大語(yǔ)言模型處理事件抽取任務(wù)的常規(guī)方式有多種，諸如：以bert+crf實(shí)現(xiàn)的事件抽取模型來(lái)處理ee任務(wù)，以bilstm+crf實(shí)現(xiàn)的事件抽取模型來(lái)處理ee任務(wù)，以albert+bilstm+crf實(shí)現(xiàn)的事件抽取模型來(lái)處理ee任務(wù)，以gpt/t5/文心系列模型這些文本到文本的端到端模型來(lái)處理ee任務(wù)等。但通過(guò)實(shí)踐應(yīng)用我們發(fā)現(xiàn)，上述幾種常規(guī)方式都有各自的局限性：1)以bert+crf/bilstm+crf/albert+bilstm+crf實(shí)現(xiàn)的事件抽取模型其本質(zhì)是利用條件隨機(jī)場(chǎng)(conditional?random?field,crf)模型的序列標(biāo)注能力進(jìn)行事件要素識(shí)別，但crf模型的特征函數(shù)主要還是依賴(lài)人
技術(shù)實(shí)現(xiàn)思路
1、本專(zhuān)利技術(shù)的目的，就是針對(duì)現(xiàn)有技術(shù)的缺陷，提供一種基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。本專(zhuān)利技術(shù)將一個(gè)已經(jīng)完成預(yù)訓(xùn)練的大語(yǔ)言模型作為對(duì)應(yīng)的第一模型(諸如gpt系列模型、t5系列模型、文心系列模型等)；并將一個(gè)輕量級(jí)的事件抽取模型作為對(duì)應(yīng)的第二模型(諸如基于bert+crf實(shí)現(xiàn)的事件抽取模型、基于bilstm+crf實(shí)現(xiàn)的事件抽取模型、基于albert+bilstm+crf實(shí)現(xiàn)的事件抽取模型等)；并合并多類(lèi)事件抽取數(shù)據(jù)集對(duì)第一模型進(jìn)行訓(xùn)練；并基于一類(lèi)特定領(lǐng)域的事件抽取數(shù)據(jù)集對(duì)第二模型進(jìn)行訓(xùn)練；并在第一、第二模型訓(xùn)練結(jié)束后通過(guò)第一、第二模型的級(jí)聯(lián)方式來(lái)處理事件抽取任務(wù)，具體為：先基于輕量級(jí)的第二模型對(duì)用戶(hù)輸入的事件文本進(jìn)行一級(jí)事件抽取處理，再第二模型的事件抽取結(jié)果作為提示文本與用戶(hù)輸入的事件文本一起送入第一模型進(jìn)行二級(jí)事件抽取處理，再對(duì)兩級(jí)事件抽取結(jié)果進(jìn)行融合得到最終的事件信息向用戶(hù)反饋。本專(zhuān)利技術(shù)用輕量級(jí)事件抽取模型的輸出作為大語(yǔ)言模型的高質(zhì)量提示上下文來(lái)降低大語(yǔ)言模型發(fā)生幻覺(jué)的錯(cuò)誤概率、提高模型預(yù)測(cè)準(zhǔn)確度，并基于大語(yǔ)言模型的良好泛化性來(lái)提高事件抽取任務(wù)的跨領(lǐng)域預(yù)測(cè)性能；基于本專(zhuān)利技術(shù)提供的模型級(jí)聯(lián)方式來(lái)處理事件抽取任務(wù)，既可以提高任務(wù)處理的跨領(lǐng)域性能、又可以提高任務(wù)處理的預(yù)測(cè)準(zhǔn)確度。
2、為實(shí)現(xiàn)上述目的，本專(zhuān)利技術(shù)實(shí)施例第一方面提供了一種基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法，所述方法包括：
3、合并多類(lèi)事件抽取數(shù)據(jù)集組成對(duì)應(yīng)的第一數(shù)據(jù)集；并將一類(lèi)特定領(lǐng)域的事件抽取數(shù)據(jù)集作為對(duì)應(yīng)的第二數(shù)據(jù)集；所述第一數(shù)據(jù)集至少包括語(yǔ)言數(shù)據(jù)聯(lián)盟發(fā)布的ace2005數(shù)據(jù)集、中文語(yǔ)言資源聯(lián)盟發(fā)布的事件抽取數(shù)據(jù)集、kaggle/google/github/hdx/fivethirtyeight平臺(tái)提供的事件抽取數(shù)據(jù)集、多類(lèi)特定領(lǐng)域的事件抽取數(shù)據(jù)集；所述特定領(lǐng)域至少包括生物化學(xué)、能源材料、醫(yī)療、金融、法律、社會(huì)新聞；
4、將一個(gè)已經(jīng)完成預(yù)訓(xùn)練的大語(yǔ)言模型作為對(duì)應(yīng)的第一模型；并將一個(gè)輕量級(jí)的事件抽取模型作為對(duì)應(yīng)的第二模型；并基于所述第一數(shù)據(jù)集對(duì)所述第一模型進(jìn)行訓(xùn)練；并基于所述第二數(shù)據(jù)集對(duì)所述第二模型進(jìn)行訓(xùn)練；所述第一模型至少包括gpt系列模型、t5系列模型、文心系列模型；所述第二模型至少包括基于bert+crf實(shí)現(xiàn)的事件抽取模型、基于bilstm+crf實(shí)現(xiàn)的事件抽取模型、基于albert+bilstm+crf實(shí)現(xiàn)的事件抽取模型；
5、所述第一、第二模型訓(xùn)練結(jié)束后，接收用戶(hù)輸入文本記為對(duì)應(yīng)的當(dāng)前事件文本；
6、將所述當(dāng)前事件文本輸入所述第二模型進(jìn)行事件抽取處理得到對(duì)應(yīng)的第一事件信息；
7、將所述第一事件信息作為對(duì)應(yīng)的當(dāng)前提示文本；并將所述當(dāng)前提示文本與所述當(dāng)前事件文本帶入所述第一模型對(duì)應(yīng)的第一事件抽取指令模板進(jìn)行指令文本組裝處理得到對(duì)應(yīng)的當(dāng)前指令文本；并將所述當(dāng)前指令文本輸入所述第一模型進(jìn)行事件抽取處理得到對(duì)應(yīng)的第二事件信息；
8、對(duì)所述第一、第二事件信息進(jìn)行信息融合處理得到對(duì)應(yīng)的第三事件信息向用戶(hù)反饋。
9、優(yōu)選的，所述第一模型用于根據(jù)模型輸入的事件抽取指令文本進(jìn)行事件抽取處理并輸出對(duì)應(yīng)的格式化事件提取信息；所述格式化事件提取信息由事件類(lèi)型信息、觸發(fā)詞文本信息和事件元素集信息組成；所述事件元素集信息由多個(gè)事件元素信息組成；所述事件元素信息由元素類(lèi)型信息和元素文本信息組成；
10、所述第二模型用于對(duì)模型輸入文本進(jìn)行事件抽取處理并輸出對(duì)應(yīng)的所述格式化事件提取信息；
11、所述第一模型對(duì)應(yīng)的事件抽取指令模板包括所述第一事件抽取指令模板和第二事件抽取指令模板；
12、所述第一事件抽取指令模板為一個(gè)格式化模板；所述第一事件抽取指令模板用于將輸入的提示文本和事件文本作為對(duì)應(yīng)的本次提示文本和本次事件文本，并通過(guò)一段敘述性文本告知所述第一模型以所述本次提示文本為提示上下文對(duì)所述本次事件文本進(jìn)行事件信息提取處理，并按所述格式化事件提取信息的格式化文本輸出格式根據(jù)提取出的事件類(lèi)型、事件觸發(fā)詞以及事件元素集進(jìn)行對(duì)應(yīng)的事件信息文本生成處理；
13、所述第二事件抽取指令模板為一個(gè)格式化模板；所述第二事件抽取指令模板用于將輸入的事件文本作為對(duì)應(yīng)的本次事件文本，并通過(guò)一段敘述性文本告知所述第一模型對(duì)所述本次事件文本進(jìn)行事件信息提取處理，并按所述格式化事件提取信息的格式化文本輸出格式根據(jù)提取出的事件類(lèi)型、事件觸發(fā)詞以及事件元素集進(jìn)行對(duì)應(yīng)的事件信息文本生成處理；
14、所述第一數(shù)據(jù)集包括多個(gè)第一數(shù)據(jù)記錄；所述第一數(shù)據(jù)記錄包括第一事件文本和第一事件標(biāo)簽；所述第一事件標(biāo)簽包括第一標(biāo)簽事件類(lèi)型、第一標(biāo)簽觸發(fā)詞文本和第一標(biāo)簽事件元素集；所述第一標(biāo)簽事件元素集包括多個(gè)第一標(biāo)簽事件元素；所述第一標(biāo)簽事件元素包括第一標(biāo)簽元素類(lèi)型和第一標(biāo)簽元素文本；
15、所述第二數(shù)據(jù)集包括多個(gè)第二數(shù)據(jù)記錄；所述第二數(shù)據(jù)記錄包括第二事件文本和第二事件標(biāo)簽；所述第二事件標(biāo)簽包括第二標(biāo)簽事件類(lèi)型、第二標(biāo)簽觸本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法，其特征在于，
3.根據(jù)權(quán)利要求2所述的基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法，其特征在于，所述基于所述第一數(shù)據(jù)集對(duì)所述第一模型進(jìn)行訓(xùn)練，具體包括：
4.根據(jù)權(quán)利要求3所述的基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法，其特征在于，所述基于所述第一數(shù)據(jù)集和所述第二事件抽取指令模板對(duì)所述第一模型的所述第一參數(shù)集進(jìn)行一階段訓(xùn)練調(diào)制，具體包括：
5.根據(jù)權(quán)利要求4所述的基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法，其特征在于，所述基于所述第一數(shù)據(jù)集和所述第一事件抽取指令模板對(duì)所述第一模型的所述第二參數(shù)集進(jìn)行二階段訓(xùn)練調(diào)制，具體包括：
6.根據(jù)權(quán)利要求4所述的基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法，其特征在于，所述基于所述第二數(shù)據(jù)集對(duì)所述第二模型進(jìn)行訓(xùn)練，具體包括：
7.根據(jù)權(quán)利要求2所述的基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法，其特征在于，所述對(duì)所述第一、第二事件信息進(jìn)行信息融合處理得到對(duì)應(yīng)
8.一種用于執(zhí)行權(quán)利要求1-7任一項(xiàng)所述的基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法的裝置，其特征在于，所述裝置包括：數(shù)據(jù)集準(zhǔn)備模塊、模型訓(xùn)練模塊、數(shù)據(jù)接收模塊、一級(jí)模型處理模塊、二級(jí)模型處理模塊和兩級(jí)信息融合模塊；
9.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)器、處理器和收發(fā)器；
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，當(dāng)所述計(jì)算機(jī)指令被計(jì)算機(jī)執(zhí)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行權(quán)利要求1-7任一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.一種基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法，其特征在于，
3.根據(jù)權(quán)利要求2所述的基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法，其特征在于，所述基于所述第一數(shù)據(jù)集對(duì)所述第一模型進(jìn)行訓(xùn)練，具體包括：
4.根據(jù)權(quán)利要求3所述的基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法，其特征在于，所述基于所述第一數(shù)據(jù)集和所述第二事件抽取指令模板對(duì)所述第一模型的所述第一參數(shù)集進(jìn)行一階段訓(xùn)練調(diào)制，具體包括：
5.根據(jù)權(quán)利要求4所述的基于模型級(jí)聯(lián)方式處理事件抽取任務(wù)的方法，其特征在于，所述基于所述第一數(shù)據(jù)集和所述第一事件抽取指令模板對(duì)所述第一模型的所述第二參數(shù)集進(jìn)行二階段訓(xùn)練調(diào)制，具體包括：
6.根據(jù)權(quán)利要求4所述的基于模型級(jí)...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：蔡恒興，李思杭，高志鋒，張林峰，孫偉杰，
申請(qǐng)(專(zhuān)利權(quán))人：北京深勢(shì)科技有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。