System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內(nèi)的位置。 參數(shù)名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 内射人妻无套中出无码,少妇无码AV无码一区,无码毛片视频一区二区本码 
  • 

  • 
<ul id="o6k0g"></ul>
    <ul id="o6k0g"></ul>
    

    

    
    
      
    
          
    
            當(dāng)前位置: 首頁 > 專利查詢>四川大學(xué)專利>正文
          
    
          
    
            
    
                
    
                    
    
                        
    
                            
    一種基于對抗訓(xùn)練的機(jī)器閱讀理解問答方法技術(shù)
    
                            
    技術(shù)編號：44409518 閱讀：2 留言：0更新日期：2025-02-25 10:22
    
                        
    
                        
    
                            
                            本發(fā)明專利技術(shù)公開了一種基于對抗訓(xùn)練的機(jī)器閱讀理解問答方法。該方法首先利用MacBERT來對輸入的自然語言進(jìn)行詞嵌入生成向量表示，之后使用對抗訓(xùn)練根據(jù)梯度變化在詞向量上添加微小擾動生成對抗樣本，最后將原始樣本和對抗樣本輸入BiLSTM網(wǎng)絡(luò)進(jìn)一步提取文本上下文特征，最后輸出預(yù)測答案。在現(xiàn)有機(jī)器閱讀理解模型的基礎(chǔ)上添加了對抗訓(xùn)練模塊，利用對抗樣本攻擊網(wǎng)絡(luò)來提高模型整體的魯棒性和泛化性。結(jié)果表明，本方法在CMRC2018數(shù)據(jù)集和DRCD數(shù)據(jù)集上的準(zhǔn)確率高于目前主流的機(jī)器閱讀理解方法。該發(fā)明專利技術(shù)旨在讓機(jī)器實(shí)現(xiàn)對自然語言的理解，在如信息檢索、智能問答系統(tǒng)、機(jī)器翻譯等很多領(lǐng)域都有應(yīng)用。
    
                            
                            
    


    
                            

                            
    【技術(shù)實(shí)現(xiàn)步驟摘要】
    
                                
    本專利技術(shù)設(shè)計(jì)了一種基于對抗訓(xùn)練的機(jī)器閱讀理解問答方法，涉及自然語言處理領(lǐng)域。

    技術(shù)介紹
    1、機(jī)器閱讀理解技術(shù)旨在讓機(jī)器實(shí)現(xiàn)對人類自然語言的理解，為了評估機(jī)器對一段自然語言文本的理解能力，常用方法是給出一段文本c，對文本的內(nèi)容提出一個問題q，機(jī)器根據(jù)文本c和問題q提取、生成或選擇合適的答案a。隨著近些年大規(guī)模數(shù)據(jù)集、高算力計(jì)算機(jī)和深度學(xué)習(xí)模型的出現(xiàn)，機(jī)器閱讀理解的研究被大大促進(jìn)，在如信息檢索、智能問答系統(tǒng)、機(jī)器翻譯等很多領(lǐng)域都有應(yīng)用。
    2、機(jī)器閱讀理解系統(tǒng)在早期由于計(jì)算機(jī)水平和數(shù)據(jù)集規(guī)模的限制，主要是依賴于人工制定的規(guī)則建立的，受應(yīng)用領(lǐng)域的限制較大，后來深度學(xué)習(xí)的出現(xiàn)使得機(jī)器閱讀理解發(fā)展到新的階段。hermann等人在傳統(tǒng)的深度學(xué)習(xí)模型基礎(chǔ)上，提出了the?attentive?reader和the?impatient?reader模型，將注意力機(jī)制加入到深度學(xué)習(xí)網(wǎng)絡(luò)lstm上。seo等人提出了雙向注意力流bidaf網(wǎng)絡(luò)，加入雙向注意力層來整合問題和上下文表示。2017年，谷歌團(tuán)隊(duì)提出了transformer模型，僅采用多頭注意力機(jī)制就在多個任務(wù)中取得了優(yōu)異成績，在此基礎(chǔ)上devlin等人提出了bert預(yù)訓(xùn)練模型，極大的提高了機(jī)器閱讀理解模型的性能。bert預(yù)訓(xùn)練模型在nlp領(lǐng)域的優(yōu)異表現(xiàn)使得越來越多學(xué)者對預(yù)訓(xùn)練模型進(jìn)行改進(jìn)創(chuàng)新，liu等人提出roberta模型，在預(yù)訓(xùn)練時使用了更多的訓(xùn)練數(shù)據(jù)，更大的batch?size和更長的訓(xùn)練時間，之后cui等人同樣對預(yù)訓(xùn)練方式進(jìn)行改進(jìn)后提出了macbert模型。yang等人則對bert的模型結(jié)構(gòu)進(jìn)行改進(jìn)提出了xlnet，其中加入了雙流注意力機(jī)制以及transformer-xl的相關(guān)技術(shù)，之后各類預(yù)訓(xùn)練模型如albert，spanbert等相繼被提出。現(xiàn)階段機(jī)器閱讀理解模型大多基于bert或bert的變體預(yù)訓(xùn)練模型進(jìn)行優(yōu)化，但是在實(shí)際的機(jī)器閱讀理解問答應(yīng)用中存在著一些問題，不同人在進(jìn)行提問時，對同一個問題的表述不盡相同，并且在文本中也可能會出現(xiàn)簡寫、語法錯誤等情況，所以機(jī)器閱讀理解任務(wù)中單一的文本和問題表述會導(dǎo)致模型的泛化能力較差，魯棒性較低。

    技術(shù)實(shí)現(xiàn)思路
    1、本專利技術(shù)為解決上述問題提供了一種基于對抗訓(xùn)練的機(jī)器閱讀理解問答方法，該網(wǎng)絡(luò)首先利用macbert對文本進(jìn)行詞嵌入，將自然語言轉(zhuǎn)化為向量表示，之后引入對抗訓(xùn)練，在每個詞向量上根據(jù)梯度加入不同的微小擾動生成對抗樣本，對抗樣本在對模型進(jìn)行對抗訓(xùn)練后會讓模型適應(yīng)噪聲，提高了模型魯棒性和泛化能力，然后引入雙向長短期記憶網(wǎng)絡(luò)，使模型可以更好的提取文本和問題中的上下文的特征。
    2、本專利技術(shù)通過以下技術(shù)方案來實(shí)現(xiàn)上述目的：
    3、基于對抗訓(xùn)練的機(jī)器閱讀理解問答方法，包括以下步驟：
    4、步驟一：將包含答案的文本和問題拼接后送入macbert的詞嵌入網(wǎng)絡(luò)使輸入文本轉(zhuǎn)化為向量表示，其中每個字和字符轉(zhuǎn)化為768維向量，輸入文本長度補(bǔ)足為512字，最后每段問答的向量表示維度為(1,512,768)；
    5、步驟二：將生成的向量表示輸入macbert的編碼模塊進(jìn)行迭代訓(xùn)練，并輸入bilstm網(wǎng)絡(luò)進(jìn)一步提取上下文特征；
    6、步驟三：根據(jù)前向傳播的loss和反向傳播的梯度計(jì)算出所要添加的微小擾動，與步驟一生成的原向量表示相加得到對抗樣本；
    7、步驟四：將步驟三中生成的對抗樣本同樣進(jìn)行步驟二的操作，計(jì)算對抗樣本的前向傳播損失值和反向傳播梯度，將生成的對抗梯度累加到原始詞向量反向傳播生成的梯度上，并將詞向量恢復(fù)為原始詞向量；
    8、步驟五：連接全連接層生成預(yù)測答案在文本中的起始位置和終止位置。
    本文檔來自技高網(wǎng)...
                            
    
                            
    【技術(shù)保護(hù)點(diǎn)】
    
                                
    1.一種基于對抗訓(xùn)練的機(jī)器閱讀理解問答方法，其特征在于包括以下步驟：
    
                            
    
                            
    【技術(shù)特征摘要】
    
                                
    1.一種基于對抗訓(xùn)練的機(jī)器閱讀理解...
                            
    
                            
    【專利技術(shù)屬性】
    
                                技術(shù)研發(fā)人員：吳曉紅，周昭辰，陳洪剛，卿粼波，王正勇，何小海，
    
        申請(專利權(quán))人：四川大學(xué)，
    
        類型：發(fā)明
    
        國別省市：
    
                            
    
                            
                        
    
                    
    
                    
                    
                     
                
    
                
                
    
                    
    
                        網(wǎng)友詢問留言
                        已有0條評論
                    
    
                    
    
                        
    
                            
      
                                
    • 
                                
						

      還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。
      


                              
                            
    
                            
    
                                 1 

                            
    
                        
    
                        
                        
    
                            
    
                              
                            
    
                            
                        
    
                    
    
                
    
            
    
              
             
          
    
      
    
    
    

    
    
    




  


主站蜘蛛池模板：
亚洲AV无码一区二区三区牲色
|
亚洲Av无码乱码在线znlu|
无码人妻精品一区二区三区66|
国产精品亚洲аv无码播放|
亚洲av无码专区在线|
亚洲精品一级无码中文字幕|
亚洲AV无码国产精品色|
日韩乱码人妻无码中文视频|
老子午夜精品无码|
久久久久亚洲精品无码网址|
亚洲aⅴ天堂av天堂无码麻豆
|
一本加勒比HEZYO无码人妻|
狠狠久久精品中文字幕无码
|
亚洲动漫精品无码av天堂|
无码永久免费AV网站|
亚洲av成人无码久久精品|
久久精品无码专区免费|
色综合久久久无码中文字幕|
精品久久久久久无码专区|
无码精品国产一区二区三区免费|
亚洲va中文字幕无码|
成人免费无遮挡无码黄漫视频|
亚洲中文字幕无码一去台湾|
人妻aⅴ无码一区二区三区|
国产精品多人p群无码|
国产日韩AV免费无码一区二区|
国产成人无码a区在线视频|
性色av无码不卡中文字幕|
久久久g0g0午夜无码精品
|
亚洲AV人无码激艳猛片|
国产成人无码精品久久久性色|
人妻老妇乱子伦精品无码专区
|
内射人妻无套中出无码|
青青爽无码视频在线观看|
无码中文字幕乱码一区|
色综合久久久无码中文字幕波多|
国内精品久久久久久无码不卡|
东京热一精品无码AV|
国产成人无码A区在线观看视频|
亚洲精品人成无码中文毛片|
免费看成人AA片无码视频吃奶|