【技術實現步驟摘要】
本專利技術屬于計算機，涉及自然語言處理技術，對短文本進行常識性因果推理，具體是一種用于生成式常識性因果推理的卷積序列到序列注意力融合方法及系統。
技術介紹
1、常識性因果推理旨在理解日常事件或行為之間的因果依存關系。例如，當事件“amanda?feels?hot”(阿曼達感覺很熱)作為原因時，會導致“amanda?turns?on?the?fan”(阿曼達打開了風扇)這一結果，從而表明這兩個事件之間存在因果關系。現有的研究通常將因果推理形式化為排序問題，通過設計不同的因果關系強度度量模型，從人工標注的候選集中選擇最合適的候選作為推理目標。然而，這種基于選擇的推理方法需要依賴于人工標注的候選集，使其難以應用于問答、對話補全等多種自然語言生成場景。因此，本專利技術將因果推理問題重構為生成任務。
2、可以對基于選擇的方法進行適配以完成生成式因果推理任務，即先為給定的前提自動構建目標候選集，再使用基于選擇的方法從中選擇最合適的候選作為生成結果。然而，上述適配方法存在以下兩點局限。首先，在進行因果推理時，該方法需要先為每個前提生成適當的候選集，這引入了額外的在線步驟、增加了計算成本；其次，該方法僅能從預定義的候選集中選擇目標，從而降低了推理模型的靈活性。
技術實現思路
1、基于現有技術生成的常識性因果推理方法在因果推理方面已經取得了一定的進展，但在處理因果生成時依然面臨多項挑戰，針對這一問題，本專利技術提出了一種用于生成式常識性因果推理的卷積序列到序列注意力融合方法及系統，涉及了
2、本專利技術采取以下技術方案：
3、用于因果推理的卷積序列到序列注意力融合方法，按如下步驟：
4、s1，構建因果句子對語料數據集，用于推動常識性因果生成的訓練過程；
5、s2，構建基于多層卷積神經網絡的序列到序列模型框架cnn?seq2seq；
6、s3，利用構建的因果句子對語料數據集和因果關系強度度量模型csλ設計因果注意力分數，并將因果注意力分數與原注意力分數相融合。
7、優選的，句子作為最基本的全面描述事件的語義單元，包含代理(agents)和動作(actions)兩個基本要素。在本專利技術中，為確保語料質量，優選收集各種獲獎列表以及最佳推薦列表中的小說作品及書籍的故事文本語料作為數據源，基于強因果線索詞(“because”和“so”)設計句法模式，抽取主句和從句組成因果句子對，從而構建新的因果句子對語料數據集。
8、優選的，具體抽取因果句子對的方式包括以下步驟：
9、s1.1：句子收集。使用正則表達式匹配收集含有“because”或“so”的句子。
10、s1.2：通過stanford?corenlp工具對句子進行分詞、標注詞性、句法成分解析和句法依存關系解析。
11、s1.3：否定檢測。如果因果線索詞在依存關系解析樹中與否定詞not或n’t存在neg否定依存關系，則排除這些句子，不再進行進一步的抽取。
12、s1.4：從句匹配。基于步驟s1.1，設計如下句法模式匹配規則，以匹配滿足該規則的句子中的主句和從句，構成因果句子對：強因果線索詞所引導的從句在成分解析樹中構成的子樹根結點為sbar，且該子樹中包含一個陳述子句(即包含主語np和謂語vp成分結構)。
13、s1.5：文本域抽取。從步驟s1.3中匹配到的主從句子樹中刪除標點符號等多余句子成分，然后抽取這些子樹中的文本跨度作為最終要抽取的因果句子對。
14、s1.6：抽取子樹中的文本跨度作為因果句子對；
15、s1.7：所有抽取的因果句子對構建成因果句子對語料數據集。
16、優選地，在步驟s1.3中，為了提取因果句子對，設計的句法模式匹配規則具體如下：例如在句子“amanda?turns?on?the?fan?because?she?feels?hot.”中，出現了從屬連詞“because”(標記為in)及其從屬從句“she?feels?hot”(子樹根結點標記為sbar)，且從屬從句為包含主語“she”(np)和謂語“feels?hot”(vp)的陳述句(s)。有關這些句法規則的詳細說明可參見圖1。
17、上述自動構建因果句子對語料庫的方法在以下三個方面展現出其優勢：
18、1)本專利技術通過采用大規模、高質量的語料庫，確保數據集的準確性和可靠性；同時，本專利技術專注于開放域因果關系抽取，構建的語料庫涵蓋了豐富的主題，具有通用性和可泛化性。
19、2)本專利技術通過制定清晰明確的模板匹配規則，對語言結構和模式進行建模，從而提升了模型對因果關系的理解和處理能力，為因果關系分析奠定了可靠的基礎。
20、3)本專利技術具備較強的可擴展性，支持定制新規則以快速適配新數據和新任務，靈活應對不斷變化的研究需求和持續增長的數據規模，從而在因果關系分析領域展現出實際應用的潛力。
21、本專利技術提出了一種基于多層卷積神經網絡的序列到序列模型框架(cnn?seq2seq)的因果生成方法，并在后續中將該模型與第三方面提及的因果注意力機制相融合，以進一步完善其在因果推理方面的性能。
22、本專利技術提出了一種因果注意力融合機制，具體包括：
23、在第二方面提出的卷積序列到序列模型框架的基礎上，利用構建的因果句子對語料庫和因果關系強度度量模型csλ設計因果注意力分數，并通過將全局因果注意力分數與原注意力分數相融合，得到一種注意力融合機制，以融合的因果知識增強語義表征，同時增強模型的因果生成能力。因果注意力融合機制的模型結構圖如圖3所示。該方法中，序列到序列生成模型通過注意力機制對輸入元素與輸出元素間的語義聯系進行建模，為元素間的語義關系強弱計算動態權重。
24、優選的，步驟s3中的因果關系強度度量模型csλ的具體設計方法如下：
25、利用以詞為基本事件單元的大規模因果關系網絡causalnet，根據因果詞對的共現頻率計算其蘊含的因果關系強弱。具體地，從因果關系主要表現為充分性因果和必要性因果相結合的角度出發，分別對充分性因果和必要性因果關系強度進行建模；其中，
26、充分性因果強度的計算公式如下：
27、
28、必要性因果強度的計算公式如下：
29、
30、式中：x和y皆為詞項，(x(c),y(e))為因果關系對，其中x(c)表示詞項x作為原因，y(e)表示詞項y作為結果。該因果對所蘊含的充分性因果關系的強度被刻畫為cssuf(x(c),y(e))，所蘊含的必要性因果關系的強度被刻畫為csnec(x(c),y(e))。基于詞項的因果度量模型csλ(x(c),y(e))用于建模因果詞對(x(c),y(e))蘊含的因果關系強度，計算如下：
31、csλ(x(c),y(e))＝csnec(x(c),y(本文檔來自技高網...
【技術保護點】
1.用于因果推理的卷積序列到序列注意力融合方法，其特征是按如下步驟：
2.如權利要求1所述用于因果推理的卷積序列到序列注意力融合方法，其特征是：步驟S1中，收集小說作品及故事文本語料作為數據源，基于強因果線索詞設計句法模式，抽取主句和從句組成因果句子對，構建因果句子對語料數據集。
3.如權利要求2所述用于因果推理的卷積序列到序列注意力融合方法，其特征是：步驟S1中，抽取因果句子對的步驟具體如下：
4.如權利要求3所述用于因果推理的卷積序列到序列注意力融合方法，其特征是：使用正則表達式匹配收集含有“because”或“so”的句子；和/或，步驟S1.3中，若因果線索詞在依存關系解析樹中與否定詞not或n’t存在，則排除句子。
5.如權利要求3所述用于因果推理的卷積序列到序列注意力融合方法，其特征是：；步驟S1.4中，設計如下句法模式匹配規則，以匹配滿足該規則的句子中的主句和從句，構成因果句子對：強因果線索詞所引導的從句在成分解析樹中構成的子樹根結點為SBAR，且該子樹中包含一個陳述子句即包含主語NP和謂語VP成分結構；和/或，步驟S1
6.如權利要求1-5任一項所述用于因果推理的卷積序列到序列注意力融合方法，其特征是：步驟S2具體如下：使用L層卷積神經網絡作為編碼器和解碼器；將輸入序列x＝(x1,x2,...,xm)和輸出序列y＝(y1,y2,...,yn)中元素對應的詞嵌入與相應的位置嵌入相加得到輸入狀態表示X＝(X1,X2,...,Xm)和輸出狀態表示Y＝(Y1,Y2,...,Ym)；將編碼器的第l個卷積層的輸出和解碼器的第l個卷積層的輸出分別記為和則解碼器端第l層第i個位置的輸出狀態計算如下：
7.如權利要求6所述用于因果推理的卷積序列到序列注意力融合方法，其特征是：步驟S2中，解碼器在解碼端對最后卷積層的第i個位置的輸出狀態進行線性變換，再計算生成下一元素yi+1的概率分布其中，Wo和bo均為線性層參數。
8.如權利要求6所述用于生成式常識性因果推理的卷積序列到序列注意力融合方法，其特征是：步驟S3中，因果關系強度度量模型CSλ的設計如下：
9.如權利要求8所述用于因果推理的卷積序列到序列注意力融合方法，其特征是：步驟S3具體如下：
10.用于因果推理的卷積序列到序列注意力融合系統，基于權利要求1-9任一項所述的方法，其特征是包括如下模塊：
...【技術特征摘要】
1.用于因果推理的卷積序列到序列注意力融合方法，其特征是按如下步驟：
2.如權利要求1所述用于因果推理的卷積序列到序列注意力融合方法，其特征是：步驟s1中，收集小說作品及故事文本語料作為數據源，基于強因果線索詞設計句法模式，抽取主句和從句組成因果句子對，構建因果句子對語料數據集。
3.如權利要求2所述用于因果推理的卷積序列到序列注意力融合方法，其特征是：步驟s1中，抽取因果句子對的步驟具體如下：
4.如權利要求3所述用于因果推理的卷積序列到序列注意力融合方法，其特征是：使用正則表達式匹配收集含有“because”或“so”的句子；和/或，步驟s1.3中，若因果線索詞在依存關系解析樹中與否定詞not或n’t存在，則排除句子。
5.如權利要求3所述用于因果推理的卷積序列到序列注意力融合方法，其特征是：；步驟s1.4中，設計如下句法模式匹配規則，以匹配滿足該規則的句子中的主句和從句，構成因果句子對：強因果線索詞所引導的從句在成分解析樹中構成的子樹根結點為sbar，且該子樹中包含一個陳述子句即包含主語np和謂語vp成分結構；和/或，步驟s1.5中，從步驟s1.4中匹配到的主從句子樹中刪除多余句子成分，然后抽取子樹中的文本跨度作為最終要抽取的因果句...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。