文本語義理解方法、裝置和系統制造方法及圖紙

本申請提出一種文本語義理解方法、裝置和系統，該方法包括：接收待語義理解的文本；根據預先構建的深度殘差網絡模型，對所述待語義理解的文本進行語義理解，得到語義理解結果。該方法能夠提升文本語義理解效果。

【技術實現步驟摘要】
文本語義理解方法、裝置和系統
本申請涉及自然語言理解
，尤其涉及一種文本語義理解方法、裝置和系統。
技術介紹
作為人工智能領域中重要方向之一的自然語言理解技術，一直是相關領域研究人員研究的熱點。特別是近年來，隨著移動互聯網技術的迅速發展，信息化程度日益提高，人們越發渴望能讓機器理解自然語言，從而實現減少人工投入、海量數據共享等目標。相關技術中，主流方法是基于循環神經網絡的文本語義理解方法和基于卷積神經網絡的文本語義理解方法。但是，通常的循環神經網絡和卷積神經網絡都難以優化，具體而言，如果不增加深度，文本語義理解效果較差，而如果增加深度，訓練和優化的錯誤率就會增加，難以得到準確的訓練模型，從而語義理解錯誤率也較高。因此，相關技術中的文本語義理解方法的效果并不理想。
技術實現思路
本申請旨在至少在一定程度上解決相關技術中的技術問題之一。為此，本申請的一個目的在于提出一種文本語義理解方法，該方法可以提升文本語義理解效果。本申請的另一個目的在于提出一種文本語義理解裝置。本申請的另一個目的在于提出一種文本語義理解系統。為達到上述目的，本申請第一方面實施例提出的文本語義理解方法，包括：接收待語義理解的文本；根據預先構建的深度殘差網絡模型，對所述待語義理解的文本進行語義理解，得到語義理解結果。為達到上述目的，本申請第二方面實施例提出的文本語義理解裝置，包括：接收模塊，用于接收待語義理解的文本；語義理解模塊，用于根據預先構建的深度殘差網絡模型，對所述待語義理解的文本進行語義理解，得到語義理解結果。為達到上述目的，本申請第三方面實施例提出的文本語義理解系統，包括：客戶端，用于接收用戶輸入的待語義理解的文本；服務端，用于接收客戶端發送的所述待語義理解的文本，以及，根據預先構建的深度殘差網絡模型，對所述待語義理解的文本進行語義理解，得到語義理解結果。本申請實施例中，在文本語義理解時引入深度殘差網絡模型，由于深度殘差網絡存在捷徑(shortcut)，使得網絡間的數據流通更為順暢，利于增加網絡深度，進而可以采用更深層網絡對數據進行更好擬合以及對特征進行更高層的抽象，從而提升文本語義理解效果。本申請附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本申請的實踐了解到。附圖說明本申請上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中：圖1是本申請一個實施例提出的文本語義理解方法的流程示意圖；圖2是本申請另一個實施例提出的文本語義理解方法的流程示意圖；圖3是本申請實施例中構建深度殘差網絡模型的方法的流程示意圖；圖4是本申請實施例中的深度殘差網絡模型的一種拓撲結構示意圖；圖5是本申請實施例中注意力層的一種運算過程示意圖；圖6是本申請一個實施例提出的文本語義理解裝置的結構示意圖；圖7是本申請另一個實施例提出的文本語義理解裝置的結構示意圖；圖8是本申請一個實施例提出的文本語義理解系統的結構示意圖。具體實施方式下面詳細描述本申請的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的模塊或具有相同或類似功能的模塊。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本申請，而不能理解為對本申請的限制。相反，本申請的實施例包括落入所附加權利要求書的精神和內涵范圍內的所有變化、修改和等同物。圖1是本申請一個實施例提出的文本語義理解方法的流程示意圖。如圖1所示，本實施例的方法包括：S11：接收待語義理解的文本。具體應用時，可以由用戶在客戶端輸入待語義理解的文本，再由客戶端發送給服務端，從而服務端接收到客戶端發送的待語義理解的文本。S12：根據預先構建的深度殘差網絡模型，對所述待語義理解的文本進行語義理解，得到語義理解結果。具體的，服務端可以預先構建深度殘差網絡模型，當服務端接收到客戶端發送的待語義理解的文本后，根據預先構建的深度殘差網絡模型，對待語義理解的文本進行語義理解，得到語義理解結果。具體的構建深度殘差網絡模型的內容可以參見后續描述。進一步的，為了與深度殘差網絡模型匹配，在語義理解之前，還可以先對待語義理解的文本進行預處理。比如，在構建深度殘差網絡模型時，需要先收集訓練文本，再對訓練文本進行預處理，以便依據預處理后的訓練文本構建得到深度殘差網絡模型。一般來講，對待語義理解的文本或訓練文本進行的預處理包括：分詞、向量化等；分詞是指將文本劃分為各個詞，向量化是指對分詞后的每個詞進行向量化，得到每個詞的詞向量。具體的分詞和向量化方法可以參見包括已有技術在內的各種相關技術，在此不再詳述。在對待語義理解的文本進行分詞和向量化后，可以得到待語義理解的文本中詞的詞向量，由這些詞向量可以組成詞向量矩陣，假設詞向量用行向量表示，則詞向量矩陣的每行為待語義理解的文本中每個詞的詞向量。在得到詞向量矩陣后，將詞向量矩陣作為預先構建的深度殘差網絡模型的輸入，模型輸出即為待語義理解的文本的語義理解結果。以預測判決結果為例，待語義理解的文本為案情內容，語義理解結果為預測得到的判決結果，如罪名、罰金、刑期等信息中的一項或多項。需要說明的是，本申請實施例中所涉及的文本語義理解一般是指任務型語義理解，即需要完成特定任務，比如需要預測罪名、罰金、刑期等信息中的一項或多項。依據要完成的任務，深度殘差網絡模型的類別可以相應設置，比如，深度殘差網絡模型可以是回歸模型，比如預測罰金和/或刑期時使用回歸模型；或者，深度殘差網絡模型可以是分類模型，比如預測罪名時使用分類模型；或者，深度殘差網絡模型可以是回歸-分類聯合模型，比如既要預測罪名，還要預測罰金和/或刑期時使用回歸-分類聯合模型。進一步的，如果要完成多個任務，可以采用多任務同步處理機制。比如要預測罪名、罰金和刑期這三項信息時，在構建深度殘差網絡模型時，通過對整體損失函數進行最小化確定模型參數，整體損失函數是基于各個任務的損失函數得到的，比如整體損失函數為上述三個任務的損失函數的線性加權函數，從而在文本語義理解時，可以由深度殘差網絡模型同步輸出這三項信息。需要說明的是，上述以在線的文本語義理解為例，在實際實施時，并不限于在線方式，還可以采用離線方式，比如在終端本地完成文本語義理解，此時，可以是由終端接收待語義理解的文本，以及由終端根據預先構建的深度殘差網絡模型，對所述待語義理解的文本進行語義理解，得到語義理解結果?；蛘撸部梢岳斫鉃?，在實際實施時，上述的客戶端和服務端分別位于不同設備中，如客戶端位于終端中，服務端位于與終端網絡連接的服務器中；或者，上述的客戶端和服務端可以位于同一個設備中，比如客戶端和服務端均位于終端中。本實施例中，在文本語義理解時引入深度殘差網絡模型，由于深度殘差網絡存在捷徑(shortcut)，使得網絡間的數據流通更為順暢，利于增加網絡深度，進而可以采用更深層網絡對數據進行更好擬合以及對特征進行更高層的抽象，從而提升文本語義理解效果。圖2是本申請另一個實施例提出的文本語義理解方法的流程示意圖。本實施例以客戶端與服務端結合實施為例。參見圖2，本實施例的方法包括：S21：服務端構建深度殘差網絡模型。具體內容可以參見后續描述。S22：客戶端接收用戶輸入的待語義理解的文本。比如，待語義理解的文本為待預測判決結果的案情內容本文檔來自技高網...

【技術保護點】
一種文本語義理解方法，其特征在于，包括：接收待語義理解的文本；根據預先構建的深度殘差網絡模型，對所述待語義理解的文本進行語義理解，得到語義理解結果。

【技術特征摘要】
1.一種文本語義理解方法，其特征在于，包括：接收待語義理解的文本；根據預先構建的深度殘差網絡模型，對所述待語義理解的文本進行語義理解，得到語義理解結果。2.根據權利要求1所述的方法，其特征在于，對所述待語義理解的文本進行語義理解之前，所述方法還包括：對所述待語義理解的文本進行預處理。3.根據權利要求2所述的方法，其特征在于，還包括：構建深度殘差網絡模型，所述構建深度殘差網絡模型，包括：收集訓練文本，并對所述訓練文本進行預處理，以及，獲取所述訓練文本的標注信息，所述標注信息包括語義理解結果；確定深度殘差網絡模型的拓撲結構；基于預處理后的訓練文本、所述標注信息和所述拓撲結構進行模型訓練，構建得到深度殘差網絡模型。4.根據權利要求3所述的方法，其特征在于，當存在多任務時，所述模型訓練基于多任務同步處理機制進行。5.根據權利要求4所述的方法，其特征在于，所述模型訓練時，通過對整體損失函數進行最小化確定模型參數，其中，所述整體損失函數為各個任務的損失函數的線性加權函數。6.根據權利要求1所述的方法，其特征在于，所述深度殘差網絡模型的拓撲結構中包括：輔助輸入層，所述輔助輸入層用于輸入先驗信息。7.根據權利要求6所述的方法，其特征在于，所述輔助輸入層包括：輸入部分，用于輸入先驗信息，并對先驗信息進行向量化；變換部分，用于對向量化后的先驗信息進行向量變換。8.根據權利要求1所述的方法，其特征在于，所述深度殘差網絡模型的拓撲結構中包括：注意力層，所述注意力層包括：非線性變換部分，用于對輸入矩陣進行非線性變換，得到非線性變換后的矩陣，所述輸入矩陣由各個詞組的詞向量組成；權重控制部分，用于采用預設向量分別與非線性變換后的矩陣中的各個詞組的詞向量做內積，得到控制向量；權重分配部分，用于對所述控制向量進行權重分配，得到權重向量；組合部分，用于采用所述權重向量對所述輸入矩陣中不同詞組的詞向量進行線性組合，得到注意力層的輸出。9.根據權利要求1所述的方法，其特征在于，所述深度殘差網絡模型的拓撲結構中包括：殘差單元層，所述殘差單元層包括卷積層級聯部分和捷徑部分，所述卷積層級聯部分包括多個相互級聯的卷積層，所述捷徑部分用于將輸入直接或對輸入進行線性變換后與卷積層級聯部分的輸出相加，再對相加后的值進行激活。10.一種文本語義理解裝置，其特征在于，包括：接收模塊，用于接收待語義理解的文本；語義理解模塊，用于根據預先構建的深度殘差網絡模型，對所述待語義理解的文本進行語義理解，得...

【專利技術屬性】
技術研發人員：劉也寬，胡加學，孫勝杰，王震，
申請(專利權)人：科大訊飛股份有限公司，
類型：發明
國別省市：安徽,34