壞例挖掘方法、裝置和存儲介質制造方法及圖紙

本公開提供了壞例挖掘方法、裝置和存儲介質，涉及人工智能技術領域，具體涉及無人駕駛、車聯網、語音語義等技術領域。獲取數據樣本，所述數據樣本包括歷史輸入至交互設備的至少一個指令數據以及所述交互設備確定出的所述指令數據的線上分類結果；確定指令分類信息，所述指令分類信息用于對指令數據進行分類；將所述至少一個指令數據和所述指令分類信息輸入至大語言模型，以使得所述大語言模型基于所述指令分類信息確定出所述至少一個指令數據分別對應的AI分類結果；基于所述指令數據的AI分類結果與所述指令數據對應的線上分類結果挖掘壞例。本公開的方法中壞例挖掘的準確性和效率均較高。率均較高。率均較高。

【技術實現步驟摘要】
壞例挖掘方法、裝置和存儲介質


[0001]本公開涉及人工智能
，具體涉及無人駕駛、車聯網、語音語義等技術，尤其涉及一種壞例挖掘方法、裝置和存儲介質。

技術介紹

[0002]用戶與交互設備進行人機交互時通常會出現設備無法正確解析用戶的輸入指令(如語音輸入)的情況，這類輸入樣例被稱為壞例(badcase)。
[0003]相關技術中，通常需要挖掘出壞例，以便后續可以基于所挖掘出的壞例來進一步優化設備對于輸入指令的解析能力，提升用戶體驗。

技術實現思路

[0004]本公開提供了一種壞例挖掘方法及其裝置。
[0005]根據本公開的第一方面，提供了一種壞例挖掘方法，包括：
[0006]獲取數據樣本，所述數據樣本包括歷史輸入至交互設備的至少一個指令數據以及所述交互設備確定出的所述指令數據的線上分類結果；
[0007]確定指令分類信息，所述指令分類信息用于對指令數據進行分類；
[0008]將所述至少一個指令數據和所述指令分類信息輸入至大語言模型，以使得所述大語言模型基于所述指令分類信息確定出所述至少一個指令數據分別對應的AI分類結果；
[0009]基于所述指令數據的AI分類結果與所述指令數據對應的線上分類結果挖掘壞例。
[0010]根據本公開的第二方面，提供了一種壞例挖掘裝置，包括：
[0011]獲取模塊，用于獲取數據樣本，所述數據樣本包括歷史輸入至交互設備的至少一個指令數據以及所述交互設備確定出的所述指令數據的線上分類結果；
[0012]確定模塊，用于確定指令分類信息，所述指令分類信息用于對指令數據進行分類；
[0013]輸入模塊，用于將所述至少一個指令數據和所述指令分類信息輸入至大語言模型，以使得所述大語言模型基于所述指令分類信息確定出所述至少一個指令數據分別對應的AI分類結果；
[0014]挖掘模塊，用于基于所述指令數據的AI分類結果與所述指令數據對應的線上分類結果挖掘壞例。
[0015]根據本公開的第三方面，提出了一種電子設備，包括至少一個處理器，以及
[0016]與至少一個處理器通信連接的存儲器；其中，
[0017]存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行本公開第一方面實施例的壞例挖掘方法。
[0018]根據本公開的第四方面，提出了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，計算機指令用于使計算機執行本公開第一方面實施例的壞例挖掘方法。
[0019]根據本公開的第五方面，提出了一種計算機程序產品，包括計算機程序，計算機程序在被處理器執行時實現本公開第一方面實施例的壞例挖掘方法的步驟。
[0020]應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。
附圖說明
[0021]附圖用于更好地理解本方案，不構成對本公開的限定。其中：
[0022]圖1是根據本公開一個實施例的壞例挖掘方法的流程圖；
[0023]圖2是根據本公開一個實施例的壞例挖掘方法的流程圖；
[0024]圖3是根據本公開一個實施例的壞例挖掘方法的流程圖；
[0025]圖4是根據本公開一個實施例的壞例挖掘裝置的結構圖；
[0026]圖5是用來實現本公開實施例的電子設備的框圖。
具體實施方式
[0027]以下結合附圖對本公開的示范性實施例做出說明，其中包括本公開實施例的各種細節以助于理解，應當將它們認為僅僅是示范性的。因此，本領域普通技術人員應當認識到，可以對這里描述的實施例做出各種改變和修改，而不會背離本公開的范圍和精神。同樣，為了清楚和簡明，以下的描述中省略了對公知功能和結構的描述。
[0028]人工智能(Artificial Intelligence，AI)，是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門技術科學。目前，AI技術具有自動化程度高、精確度高、成本低的優點，得到了廣泛的應用。
[0029]數據處理(Data Processing，DP)，是對數據的采集、存儲、檢索、加工、變換和傳輸。數據處理的基本目的是從大量的、可能是雜亂無章的、難以理解的數據中抽取并推導出對于某些特定的人們來說是有價值、有意義的數據。數據處理是系統工程和自動控制的基本環節。數據處理貫穿于社會生產和社會生活的各個領域。數據處理技術的發展及其應用的廣度和深度，極大地影響了人類社會發展的進程。
[0030]深度學習(Deep Learning，DL)，是機器學習(Machine Learning，ML)領域中一個新的研究方向，學習樣本數據的內在規律和表示層次，這些學習過程中獲得的信息對諸如文字，圖像和聲音等數據的解釋有很大的幫助。它的最終目標是讓機器能夠像人一樣具有分析學習能力，能夠識別文字、圖像和聲音等數據。就具體研究內容而言，主要包括基于卷積運算的神經網絡系統，即卷積神經網絡；基于多層神經元的自編碼神經網絡；以多層自編碼神經網絡的方式進行預訓練，進而結合鑒別信息進一步優化神經網絡權值的深度置信網絡。深度學習在搜索技術，數據挖掘，機器學習，機器翻譯，自然語言處理，多媒體學習，語音，推薦和個性化技術，以及其他相關領域都取得了很多成果。深度學習使機器模仿視聽和思考等人類的活動，解決了很多復雜的模式識別難題，使得人工智能相關技術取得了很大進步。
[0031]智能交通(Intelligent Traffic System，ITS)，又稱智能運輸系統(Intelligent Transportation System)，是將先進的科學技術(信息技術、計算機技術、數據通信技術、傳感器技術、電子控制技術、自動控制理論、運籌學、人工智能等)有效地綜合運用于交通運輸、服務控制和車輛制造，加強車輛、道路、使用者三者之間的聯系，從而形成一種保障安全、提高效率、改善環境、節約能源的綜合運輸系統。
[0032]可選的，相關技術中的badcase挖掘方案包括以下兩種：
[0033]方案1、人工探索，即：內部、外部人員人工探索出badcase，再進行反饋跟進；
[0034]方案2、訓練能挖掘出badcase的離線模型，利用訓練好的離線模型來挖掘badcase。
[0035]但是，上述方案1中，依賴人工和主觀探索，可識別的badcase量級較少，效率低。上述方案2中，離線模型訓練前期依賴大量數據，訓練周期長，效率較低，且離線模型的訓練數據來源有限，會使得數據相似，從而使得模型分類結果趨于一致，導致潛在badcase被隱藏，即badcase挖掘不徹底。
[0036]基于此，本公開提供了一種壞例挖掘方法。
[0037]具體的，本公開實施例的壞例挖掘方法的執行主體可為本公開實施例提供的壞例挖掘裝置，該壞例挖掘裝置可為具有數據信息處理能力的硬件設備和/或驅動該硬件設備本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種壞例挖掘方法，其特征在于，包括：獲取數據樣本，所述數據樣本包括歷史輸入至交互設備的至少一個指令數據以及所述交互設備確定出的所述指令數據的線上分類結果；確定指令分類信息，所述指令分類信息用于對指令數據進行分類；將所述至少一個指令數據和所述指令分類信息輸入至大語言模型，以使得所述大語言模型基于所述指令分類信息確定出所述至少一個指令數據分別對應的AI分類結果；基于所述指令數據的AI分類結果與所述指令數據對應的線上分類結果挖掘壞例。2.根據權利要求1所述的方法，其特征在于，所述大語言模型的訓練數據可實時更新。3.根據權利要求1或2所述的方法，其特征在于，所述指令分類信息包括以下至少之一：至少一個指令類別；每個指令類別對應的類別描述；所述類別描述用于描述屬于所述指令類別的指令數據所對應的特征；每個指令類別對應的至少一個示例指令。4.根據權利要求1或2所述的方法，其特征在于，所述基于所述指令數據的AI分類結果與所述指令數據對應的線上分類結果挖掘壞例，包括：確定所述指令數據的AI分類結果與所述指令數據對應的線上分類結果是否一致；響應于所述指令數據的AI分類結果與所述指令數據對應的線上分類結果一致，確定所述指令數據為非壞例；響應于所述指令數據的AI分類結果與所述指令數據對應的線上分類結果不一致，確定所述指令數據為壞例。5.根據權利要求1或2所述的方法，其特征在于，所述獲取數據樣本，包括：從數據日志中獲取原始數據；對所述原始數據進行數據清洗以得到至少一個指令數據；從所述原始數據中選擇出各個指令數據對應的線上分類結果；將所述至少一個指令數據以及所述至少一個指令數據對應的線上分類結果確定為數據樣本。6.根據權利要求5所述的方法，其特征在于，所述方法還包括：將所述線上分類結果和所述AI分類結果分別轉換為可被識別字符。7.根據權利要求6所述的方法，其特征在于，所述基于所述指令數據的AI分類結果與所述指令數據對應的線上分類結果挖掘壞例，包括：確定所述指令數據的AI分類結果對應的可被識別字符與所述指令數據對應的線上分類結果所對應的可被識別字符是否一致；響應于所述指令數據的AI分類結果對應的可被識別字符與所述指令數據對應的線上分類結果所對應的可被識別字符一致，確定所述指令數據為非壞例；響應于所述指令數據的AI分類結果對應的可被識別字符與所述指令數據對應的線上分類結果所對應的可被識別字符不一致，確定所述指令數據為壞例。8.一種壞例挖掘裝置，其特征在于，包括：獲取模塊，用于獲取數據樣本，所述數據樣本包括歷史輸入至交互設備的至少一個指令數據以及所述交互設備確定出的所述指令數據的線上分類結果；
確定模塊，用于確定指令分類信息，所述指令分類信息用于對指令數據進行分類；輸入模塊，用于將所述至少一個...

【專利技術屬性】
技術研發人員：王雪如，陳婧妍，
申請(專利權)人：阿波羅智聯北京科技有限公司，
類型：發明
國別省市：