System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術涉及質檢領域,尤其涉及一種nlp質檢方法及計算機可讀存儲介質。
技術介紹
1、在許多行業中,需要對一些重要會話進行記錄,并對其進行質檢,例如呼叫中心、金融產品銷售、保險銷售等等。基本的流程是先通過自動語音識別(automatic?speechrecognition,asr)技術將對話內容轉換為文本,然后用自然語言處理(natural?languageprocessing,nlp)技術對其進行質檢。現有的質檢方式通常包括語義查找及語義分類,其中語義查找即查找是否存在關鍵詞及關鍵話術,語義分類即對某個短語進行nlp分類,確定其不同類別,比如積極的、消極的等。
2、傳統的nlp質檢中,語義分析適用于對短語或一句話進行處理,對大篇幅會話內容缺少邏輯推理能力。對于關鍵問題的質檢,通常使用窮舉關鍵詞匹配的方式進行查找,比較依賴關鍵詞庫的完整性,靈活度不足,具有應用局限。而大語言模型(large?languagemodel,llm)雖然能夠很好的理解上下文,也能進行邏輯推理,但一方面需要較高的硬件配置,處理成本和能耗高;另一方面,如果篇幅過大,也會降低質檢處理的準確性,而且大篇幅內容引起的質檢判斷隨機性,使得輸出結果不穩定。
技術實現思路
1、本專利技術所要解決的第一個技術問題是針對上述現有技術現狀而提供一種處理成本低且準確性高的對于大篇幅音頻會話內容的nlp質檢方法。
2、本專利技術所要解決的第二個技術問題是提供一種能執行上述nlp質檢方法的計算機可讀存儲介質
3、本專利技術解決上述第一個技術問題所采用的技術方案為:一種nlp質檢方法,用于對大篇幅音頻會話內容進行nlp質檢,其特征在于,包括以下步驟:
4、步驟1、將包含有預期話術內容和固定問答內容的文本保存為目標字符串;
5、步驟2、對大篇幅會話中不同講話人的音頻進行分離或標注,并將分離或標注出不同講話人的大篇幅音頻會話內容轉換為文本,將該文本內容稱為會話內容字符串;
6、步驟3、通過模糊查找方式,檢查會話內容字符串中是否包含有所述目標字符串中的預期話術內容或/和固定問答內容,如有,則將會話內容字符串中包含的與目標字符串中的預期話術內容或/和固定問答內容相同或相似的文本內容進行剔除,然后進入步驟4;如無,直接進入步驟4;
7、步驟4、對經步驟3處理后的會話內容字符串進行分句,然后對每個分句進行逐句語義分類,對會話內容字符串中包含的消極情緒分類項進行統計;
8、步驟5、對經步驟3處理后的整段會話內容字符串使用大語言模型進行處理,并輸出質檢結果。
9、音頻數據有不同類型,優選地,所述步驟2中大篇幅會話音頻如果包括分別為不同講話人聲音的多聲道音頻數據,則直接將不同聲道的音頻數據處理為不同講話人的會話內容;如果同一個聲道中有不同講話人的聲音,則通過聲紋識別技術區分不同講話人的會話內容。
10、優選地,所述步驟3中,模糊查找會話內容字符串中是否包含有所述目標字符串中的預期話術內容或/和固定問答內容的具體方式包括:
11、步驟3-1、將會話內容字符串中的占位符替換成預設的通配符,得到會話內容源字符串;
12、步驟3-2、將會話內容源字符串與目標字符串做部分匹配,獲得一個或多個局部完全匹配的塊結構體block,將這些局部完全匹配的塊結構體block形成數組并稱為blocks;
13、步驟3-3、如果相鄰的局部完全匹配的塊結構體之間由通配符隔開,則將這些相鄰的局部完全匹配的塊結構體進行融合,得到融合后的塊結構體數組,將這些融合后的塊結構體數組稱為merged_blocks;
14、步驟3-4、依次計算每個融合后的塊結構體與目標字符串中的預期話術內容的編輯距離,同時依次計算每個融合后的塊結構體與目標字符串中的固定問答內容的編輯距離,從而得到每個融合后的塊結構體與目標字符串的匹配值,返回其中最匹配的融合后的塊結構體。
15、通配符可以只有一種形式,但為了方便區分,所述通配符包括第一通配符及第二通配符,所述第一通配符為'.',代表任意一個長度為1的字符;所述第二通配符為'*',代表任意長度任意內容的字符串,該字符串可為空。
16、為了使塊結構體數組能表示局部完全匹配字符串的屬性,所述塊結構體數組具有三個屬性值spos、dpos及len,spos表示局部完全匹配字符串在會話內容字符串中的起始位置,dpos表示局部完全匹配字符串在目標字符串中的起始位置,len表示局部完全匹配字符串的長度。
17、為了對剩下的不固定內容進行分句,所述步驟4中,對于經步驟3處理后的會話內容字符串,按時間順序掃描對應音頻文件,基于語音活性檢測算法檢測非語音的連續停頓時長,若停頓時長大于預設的停頓閾值,則切分為獨立一句,同時對對應的會話內容字符串進行文本分割;若切分后的句子長度大于預設的分句閾值,則對該分句繼續分割。
18、為了避免分句后遺漏信息導致斷章取義的信息失真,所述分句的繼續分割方法為在該句中間60%內容處進行語音活性和能量檢測,找到兩個停頓時間最大的點,若找不到停頓點,則找到兩個音量最小處,按順序標記d1、d2,將該分句從開頭到d2分割為第一個句子,將該分句從d1到結尾分割為第二個句子。
19、由于在雙錄質檢場景中,文本往往呈現內容多樣、長度大的特點,優選地,所述步驟4中對分句進行語義分類的方法是:構造數據集,對大語言模型的self-attention層進行lora微調,加載基礎模型后,再加載lora與原模型做參數融合。
20、本專利技術解決上述第二個技術問題所采用的技術方案為:一種計算機可讀存儲介質,其特征在于:所述計算機可讀存儲介質上存儲有計算機程序,該計算機程序被處理器運行時執行如上所述的nlp質檢方法,以對大篇幅音頻會話內容進行質檢。
21、與現有技術相比,本專利技術的優點在于:該nlp質檢方法對預期話術內容或/和固定問答內容進行模糊查找,從而簡化后續nlp處理的復雜度;其次通過語義分析,對分句的內容按業務要求進行分類,通過較經濟的算力資源實現業務需求;最后對于需要全局上下文分析的內容,使用強大的llm,實現nlp的復雜任務;該方法在盡可能使用少的算力資源同時,最大程度的將不同講話人的對話內容進行有效的nlp處理,并能處理復雜任務;不同任務之間能夠互相復用處理成果,并提升后期nlp處理精度。
本文檔來自技高網...【技術保護點】
1.一種NLP質檢方法,用于對大篇幅音頻會話內容進行NLP質檢,其特征在于,包括以下步驟:
2.根據權利要求1所述的NLP質檢方法,其特征在于:所述步驟2中大篇幅會話音頻如果包括分別為不同講話人聲音的多聲道音頻數據,則直接將不同聲道的音頻數據處理為不同講話人的會話內容;如果同一個聲道中有不同講話人的聲音,則通過聲紋識別技術區分不同講話人的會話內容。
3.根據權利要求1所述的NLP質檢方法,其特征在于:所述步驟3中,模糊查找會話內容字符串中是否包含有所述目標字符串中的預期話術內容或/和固定問答內容的具體方式包括:
4.根據權利要求3所述的NLP質檢方法,其特征在于:所述通配符包括第一通配符及第二通配符,所述第一通配符為'.',代表任意一個長度為1的字符;所述第二通配符為'*',代表任意長度任意內容的字符串,該字符串可為空。
5.根據權利要求3所述的NLP質檢方法,其特征在于:所述塊結構體數組具有三個屬性值spos、dpos及len,spos表示局部完全匹配字符串在會話內容字符串中的起始位置,dpos表示局部完全匹配字符串在目標字符串中
6.根據權利要求1所述的NLP質檢方法,其特征在于:所述步驟4中,對于經步驟3處理后的會話內容字符串,按時間順序掃描對應音頻文件,基于語音活性檢測算法檢測非語音的連續停頓時長,若停頓時長大于預設的停頓閾值,則切分為獨立一句,同時對對應的會話內容字符串進行文本分割;若切分后的句子長度大于預設的分句閾值,則對該分句繼續分割。
7.根據權利要求6所述的NLP質檢方法,其特征在于:所述分句的繼續分割方法為在該句中間60%內容處進行語音活性和能量檢測,找到兩個停頓時間最大的點,若找不到停頓點,則找到兩個音量最小處,按順序標記d1、d2,將該分句從開頭到d2分割為第一個句子,將該分句從d1到結尾分割為第二個句子。
8.根據權利要求1所述的NLP質檢方法,其特征在于:所述步驟4中對分句進行語義分類的方法是:構造數據集,對大語言模型的self-attention層進行Lora微調,加載基礎模型后,再加載Lora與原模型做參數融合。
9.一種計算機可讀存儲介質,其特征在于:所述計算機可讀存儲介質上存儲有計算機程序,該計算機程序被處理器運行時執行如權利要求1至8任一項所述的NLP質檢方法,以對大篇幅音頻會話內容進行質檢。
...【技術特征摘要】
1.一種nlp質檢方法,用于對大篇幅音頻會話內容進行nlp質檢,其特征在于,包括以下步驟:
2.根據權利要求1所述的nlp質檢方法,其特征在于:所述步驟2中大篇幅會話音頻如果包括分別為不同講話人聲音的多聲道音頻數據,則直接將不同聲道的音頻數據處理為不同講話人的會話內容;如果同一個聲道中有不同講話人的聲音,則通過聲紋識別技術區分不同講話人的會話內容。
3.根據權利要求1所述的nlp質檢方法,其特征在于:所述步驟3中,模糊查找會話內容字符串中是否包含有所述目標字符串中的預期話術內容或/和固定問答內容的具體方式包括:
4.根據權利要求3所述的nlp質檢方法,其特征在于:所述通配符包括第一通配符及第二通配符,所述第一通配符為'.',代表任意一個長度為1的字符;所述第二通配符為'*',代表任意長度任意內容的字符串,該字符串可為空。
5.根據權利要求3所述的nlp質檢方法,其特征在于:所述塊結構體數組具有三個屬性值spos、dpos及len,spos表示局部完全匹配字符串在會話內容字符串中的起始位置,dpos表示局部完全匹配字符串在目標字符串中的起始位置,len表示局部完全匹配字符串的長度。
【專利技術屬性】
技術研發人員:錢曉炯,周銀,董澤,周方斌,
申請(專利權)人:寧波菊風系統軟件有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。