【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及深度學(xué)習(xí)、自然語(yǔ)言處理、大模型，特別是涉及一種利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法。
技術(shù)介紹
1、大語(yǔ)言模型（英文：large?language?model，縮寫(xiě)llm），也稱大型語(yǔ)言模型，是一種人工智能模型，旨在理解和生成人類(lèi)語(yǔ)言。它們?cè)诖罅康奈谋緮?shù)據(jù)上進(jìn)行訓(xùn)練，可以執(zhí)行廣泛的任務(wù)，包括文本總結(jié)、翻譯、情感分析等等。llm的特點(diǎn)是規(guī)模龐大，幫助它們學(xué)習(xí)語(yǔ)言數(shù)據(jù)中的復(fù)雜模式。這些模型通?；谏疃葘W(xué)習(xí)架構(gòu)，有助于它們?cè)诟鞣Nnlp任務(wù)上取得令人印象深刻的表現(xiàn)。
2、大模型(llm)技術(shù)在理解和生成上目前已經(jīng)很成熟，但是也有很多短板。比如對(duì)于時(shí)間的認(rèn)知，即使算告訴了大模型當(dāng)前時(shí)間是什么，再問(wèn)下周一，下個(gè)下月等時(shí)間相關(guān)問(wèn)題，經(jīng)常會(huì)答錯(cuò)。
3、因此，針對(duì)現(xiàn)有技術(shù)不足，提供一種利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法以克服現(xiàn)有技術(shù)不足甚為必要。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于避免現(xiàn)有技術(shù)的不足之處而提供一種利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，彌補(bǔ)了大模型時(shí)間推理能力差的問(wèn)題，能夠提高大模型時(shí)間推理的準(zhǔn)確性。
2、本專利技術(shù)的目的通過(guò)以下技術(shù)措施實(shí)現(xiàn)。
3、提供一種利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，通過(guò)bert-base模型對(duì)用戶的問(wèn)題進(jìn)行時(shí)間提取，獲得日期和時(shí)間名詞；
4、再用后處理邏輯，將日期和時(shí)間名詞轉(zhuǎn)換為具體的時(shí)間或日期，補(bǔ)充到用戶問(wèn)題中，將補(bǔ)全的結(jié)果送入大模型中
5、優(yōu)選的，上述利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，通過(guò)如下步驟進(jìn)行：
6、步驟1.定義模型結(jié)構(gòu)；
7、步驟2.訓(xùn)練數(shù)據(jù)預(yù)處理；
8、步驟3.模型訓(xùn)練；
9、步驟4.模型推理及后處理；
10、步驟5.時(shí)間日期補(bǔ)全；
11、步驟6.大模型推理。
12、優(yōu)選的，上述利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，步驟1的定義模型結(jié)構(gòu)，具體包括：選擇bert-base模型作為小模型，
13、對(duì)bert-base模型，為了提取出文本中的日期和時(shí)間信息，進(jìn)行如下定義：
14、定義提取類(lèi)別為：日期date?,?時(shí)間time；
15、定義輸入為：文本；
16、定義輸出為：文本中每個(gè)字對(duì)應(yīng)的類(lèi)別信息；
17、類(lèi)別定義如下：無(wú)關(guān)字為?0，日期名詞開(kāi)始為1，日期名詞中間部分為?2，時(shí)間名詞開(kāi)始為?3，時(shí)間名詞中間部分為?4；
18、設(shè)置將模型輸出層的含義改為類(lèi)別標(biāo)注。
19、優(yōu)選的，上述利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，步驟2.訓(xùn)練數(shù)據(jù)預(yù)處理具體包括：
20、2.1.?訓(xùn)練數(shù)據(jù)準(zhǔn)備，具體是準(zhǔn)備bert-base模型支持的語(yǔ)料格式的數(shù)據(jù)，對(duì)作為訓(xùn)練數(shù)據(jù)的語(yǔ)料文本進(jìn)行類(lèi)別標(biāo)注，存儲(chǔ)在jsonl文件中；以src代表原的始語(yǔ)料文本，target表示標(biāo)注；
21、2.2.?數(shù)據(jù)預(yù)處理，具體是設(shè)置文本最大長(zhǎng)度256，對(duì)每一條數(shù)據(jù)進(jìn)行處理；如果超過(guò)256個(gè)字的文本，直接進(jìn)行截?cái)?；?duì)于不足256各自的文本，進(jìn)行補(bǔ)0?操作；
22、使用transformers庫(kù)中的berttokenizer類(lèi)來(lái)加載分詞器，分詞時(shí)采用對(duì)每個(gè)字進(jìn)行單獨(dú)分詞，得到模型訓(xùn)練需要的數(shù)據(jù)集。
23、優(yōu)選的，上述利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，步驟3的模型訓(xùn)練具體使用transformers框架對(duì)模型進(jìn)行訓(xùn)練。
24、進(jìn)一步的，首先加載模型權(quán)重、設(shè)置分類(lèi)標(biāo)簽；然后使用dataloader加載步驟2中的數(shù)據(jù)集，設(shè)置訓(xùn)練批量數(shù)據(jù)、學(xué)習(xí)率、最大訓(xùn)練個(gè)數(shù)；最終訓(xùn)練模型權(quán)重保存在?get-date-time目錄中。
25、更佳的，加載默認(rèn)的模型權(quán)重，設(shè)置分類(lèi)標(biāo)簽為5，設(shè)置訓(xùn)練批量數(shù)據(jù)為32，設(shè)置學(xué)習(xí)率為0.00005，最大訓(xùn)練5個(gè)epoch。
26、優(yōu)選的，上述利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，步驟4的后處理具體包括：將模型得到的推理結(jié)果，截取對(duì)應(yīng)的時(shí)間文本信息；最后根據(jù)當(dāng)前時(shí)間，將對(duì)應(yīng)的日期或時(shí)間轉(zhuǎn)化為準(zhǔn)確的時(shí)間。
27、優(yōu)選的，上述利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，步驟5的時(shí)間日期補(bǔ)全，具體是將文本中對(duì)應(yīng)的時(shí)間或日期后面用括號(hào)的形式補(bǔ)充具體的日期或時(shí)間。
28、優(yōu)選的，上述利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，將步驟5補(bǔ)全的結(jié)果送入大模型中進(jìn)行推理。
29、本專利技術(shù)利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，通過(guò)小模型對(duì)用戶的問(wèn)題進(jìn)行時(shí)間提取，獲得日期和時(shí)間名詞；再用后處理邏輯，將日期和時(shí)間名詞轉(zhuǎn)換為具體的時(shí)間或日期，補(bǔ)充到用戶問(wèn)題中，將補(bǔ)全的結(jié)果送入大模型中進(jìn)行推理。bert（bidirectional?encoder?representations?from?transformers）模型，也稱bert-base模型，是一種基于transformer架構(gòu)的預(yù)訓(xùn)練語(yǔ)言表示模型，它在自然語(yǔ)言處理（nlp）領(lǐng)域取得了突破性的進(jìn)展。bert-base模型的核心優(yōu)勢(shì)在于其能夠通過(guò)預(yù)訓(xùn)練從大規(guī)模文本語(yǔ)料庫(kù)中學(xué)習(xí)語(yǔ)言的雙向上下文信息。本專利技術(shù)利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，通過(guò)bert模型對(duì)用戶的問(wèn)題進(jìn)行時(shí)間提取，獲得日期和時(shí)間相關(guān)的名詞。再用后處理邏輯，將日期和時(shí)間名詞轉(zhuǎn)換為具體的時(shí)間或日期，補(bǔ)充到用戶問(wèn)題中，彌補(bǔ)大模型時(shí)間推理能力差的問(wèn)題。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種利用BERT模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于，通過(guò)Bert-base模型對(duì)用戶的問(wèn)題進(jìn)行時(shí)間提取，獲得日期和時(shí)間名詞；
2.根據(jù)權(quán)利要求1所述的利用BERT模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于，通過(guò)如下步驟進(jìn)行：
3.根據(jù)權(quán)利要求1所述的利用BERT模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于，步驟1的定義模型結(jié)構(gòu)，具體包括：
4.根據(jù)權(quán)利要求3所述的利用BERT模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于：步驟2.訓(xùn)練數(shù)據(jù)預(yù)處理具體包括：
5.根據(jù)權(quán)利要求4所述的利用BERT模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于，步驟3的模型訓(xùn)練具體使用transformers框架對(duì)模型進(jìn)行訓(xùn)練。
6.根據(jù)權(quán)利要求5所述的利用BERT模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于，首先加載模型權(quán)重、設(shè)置分類(lèi)標(biāo)簽；然后使用dataloader加載步驟2中的數(shù)據(jù)集，設(shè)置訓(xùn)練批量數(shù)據(jù)、學(xué)習(xí)率、最大訓(xùn)練個(gè)數(shù)；最終訓(xùn)練模型權(quán)重保存在?get-date-time目錄中。
7.根據(jù)權(quán)利要求6所
8.根據(jù)權(quán)利要求5至7任意一項(xiàng)所述的利用BERT模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于，步驟4的后處理具體包括：將模型得到的推理結(jié)果，截取對(duì)應(yīng)的時(shí)間文本信息；最后根據(jù)當(dāng)前時(shí)間，將對(duì)應(yīng)的日期或時(shí)間轉(zhuǎn)化為準(zhǔn)確的時(shí)間。
9.根據(jù)權(quán)利要求8所述的利用BERT模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于，步驟5的時(shí)間日期補(bǔ)全，具體是將文本中對(duì)應(yīng)的時(shí)間或日期后面用括號(hào)的形式補(bǔ)充具體的日期或時(shí)間。
10.根據(jù)權(quán)利要求9所述的利用BERT模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于，將步驟5補(bǔ)全的結(jié)果送入大模型中進(jìn)行推理。
...【技術(shù)特征摘要】
1.一種利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于，通過(guò)bert-base模型對(duì)用戶的問(wèn)題進(jìn)行時(shí)間提取，獲得日期和時(shí)間名詞；
2.根據(jù)權(quán)利要求1所述的利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于，通過(guò)如下步驟進(jìn)行：
3.根據(jù)權(quán)利要求1所述的利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于，步驟1的定義模型結(jié)構(gòu)，具體包括：
4.根據(jù)權(quán)利要求3所述的利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于：步驟2.訓(xùn)練數(shù)據(jù)預(yù)處理具體包括：
5.根據(jù)權(quán)利要求4所述的利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于，步驟3的模型訓(xùn)練具體使用transformers框架對(duì)模型進(jìn)行訓(xùn)練。
6.根據(jù)權(quán)利要求5所述的利用bert模型對(duì)大模型進(jìn)行時(shí)間認(rèn)知補(bǔ)全的方法，其特征在于，首先加載模型權(quán)重、設(shè)置分類(lèi)標(biāo)簽；然后使用dataloader加載步驟2中的數(shù)據(jù)集，設(shè)置訓(xùn)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：程?hào)|，文志偉，李靜，沈賢義，
申請(qǐng)(專利權(quán))人：廣州華微明天軟件技術(shù)有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。