【技術實現步驟摘要】
本專利技術涉及文本檢測，尤其涉及一種基于最大均值差異的機器通用文本檢測方法。
技術介紹
1、隨著大語言模型的發展，語言模型生成文本的質量越來越高，更加自然、流暢，與人類手寫文本極其相似，在諸如摘要凝練、對話生成、機器翻譯等領域發揮著重要作用。然而，生成文本的泛濫也會帶來許多潛在危害：大語言模型可能被用于生成假新聞、垃圾郵件、網絡詐騙信息等帶有事實錯誤或偏見的內容，這給網絡信息的可信度和安全性帶來了極大的威脅，亟需可靠的機器生成文本的檢測技術。
2、現有的機器生成文本檢測方法主要分為基于度量和基于模型的文本檢測方法。其中，基于度量的文本檢測方法使用特征統計量來計算測試文本屬于機器生成文本的概率，但由于不同生成模型的生成域存在較大分布差距，這類方法的表現為精度不足；而基于模型的文本檢測方法在生成模型的基礎上訓練一個分類器來鑒別機器生成文本與人類手寫文本，但它嚴重依賴具體的生成模型，難以適應其他模型生成文本的檢測。
技術實現思路
1、針對上述問題，本專利技術提出一種基于最大均值差異的機器通用文本檢測方法，主要解決現有文本檢測方法檢測精度不足或者通用性不足的問題。
2、為解決上述技術問題，本專利技術的技術方案如下：
3、一種基于最大均值差異的機器通用文本檢測方法，包括以下步驟：
4、步驟1，從語言模型生成文本和人類手寫文本中提取特征，分別定義為機器文本特征和人類手寫文本特征；
5、步驟2，建立基于最大均值差異的度量模型，以所述機器
6、步驟3，對于待測段落文本的檢測任務，利用所述mmd深度內核計算所述人類手寫文本和所述待測段落文本之間的差異，定義為第一差異值；
7、步驟4，將所述待測段落文本與所述人類手寫文本進行隨機混合，并拆分成兩段混合文本，利用所述mmd深度內核計算兩段所述混合文本之間的差異，定義第二差異值；
8、步驟5，根據預設次數重復步驟4，得到多個所述第二差異值，計算多個所述第二差異值分別與所述第一差異值之間的差值，累計大于0的所述差值的個數，計算所述個數和所述預設次數之間的比值，若所述比值大于預設概率閾值，則表征所述待測段落文本由ai生成。
9、在一些實施方式中，還包括步驟6，對于待測單句文本的檢測任務，利用所述mmd深度內核計算所述待測單句文本和所述人類手寫文本之間的差異，定義為第一差異值，根據所述第一差異值判定所述待測單句文本是否由ai生成。
10、在一些實施方式中，所述度量模型為：
11、
12、式中，是來自不同分布的隨機樣本，表示一個機器生成文本的分布，表示一個人類手寫文本的分布，是一個再生核k的希爾伯特空間，f是一個將分布x或y數據映射到實數空間的函數，是函數f的集合，和表示對從機器文本特征和人類手寫文本特征采樣的兩個分布的期望，k(x,x′)表示機器文本特征的類內距離，k(y,y′)表示人類手寫文本特征的類內距離，k(x,y)表示機器文本特征和人類手寫文本特征的類間距離。
13、在一些實施方式中，所述優化目標為：
14、
15、其中有
16、
17、hij:＝k(xi,xj)-k(xi,yj)-k(yi,xj)+k(yi,yj)??(4)；
18、式中，kω表示基于參數集ω的mmd內核，表示時兩個分布之間的差異系數，表示優化目標的測試功效，表征分布差異的確定性大小。
19、在一些實施方式中，在步驟2中，忽略所述機器文本特征的類內距離。
20、在一些實施方式中，根據所述優化目標建立帶有mpp代理的多總體感知優化目標，所述多總體感知優化目標包括：
21、
22、在一些實施方式中，所述待測段落文本的檢測過程為：
23、
24、式中，hij:＝k(xi,xj)-k(xi,yj)-k(yi,xj)+k(yi,yj)，是在上的博雷爾測度，是獨立同分布觀測值。
25、在一些實施方式中，所述待測單句文本的檢測過程為：
26、
27、式中，表示參考的人類手寫文本數據集，xi,xj為數據集中的單個樣本，為測試單句文本。
28、本專利技術的有益效果為：通過增大機器文本特征和人類手寫文本特征的類間距離，以及縮小人類手寫文本特征的類內距離為優化目標訓練度量模型的深度內核，解決了現有文本檢測方法檢測精度不足或者通用性不足的問題，能夠有效檢測文本是否由ai生成，為網絡信息的可信度和安全性提供了重要保障。
本文檔來自技高網...【技術保護點】
1.一種基于最大均值差異的機器通用文本檢測方法，其特征在于，包括以下步驟：
2.如權利要求1所述的基于最大均值差異的機器通用文本檢測方法，其特征在于，還包括步驟6，對于待測單句文本的檢測任務，利用所述MMD深度內核計算所述待測單句文本和所述人類手寫文本之間的差異，定義為第一差異值，根據所述第一差異值判定所述待測單句文本是否由AI生成。
3.如權利要求1所述的基于最大均值差異的機器通用文本檢測方法，其特征在于，所述度量模型為：
4.如權利要求3所述的基于最大均值差異的機器通用文本檢測方法，其特征在于，所述優化目標為：
5.如權利要求4所述的基于最大均值差異的機器通用文本檢測方法，其特征在于，在步驟2中，忽略所述機器文本特征的類內距離。
6.如權利要求5所述的基于最大均值差異的機器通用文本檢測方法，其特征在于，根據所述優化目標建立帶有MPP代理的多總體感知優化目標，所述多總體感知優化目標包括：
7.如權利要求6所述的基于最大均值差異的機器通用文本檢測方法，其特征在于，所述待測段落文本的檢測過程為：
8
...【技術特征摘要】
1.一種基于最大均值差異的機器通用文本檢測方法，其特征在于，包括以下步驟：
2.如權利要求1所述的基于最大均值差異的機器通用文本檢測方法，其特征在于，還包括步驟6，對于待測單句文本的檢測任務，利用所述mmd深度內核計算所述待測單句文本和所述人類手寫文本之間的差異，定義為第一差異值，根據所述第一差異值判定所述待測單句文本是否由ai生成。
3.如權利要求1所述的基于最大均值差異的機器通用文本檢測方法，其特征在于，所述度量模型為：
4.如權利要求3所述的基于最大均值差異的機器通用文本檢測方法，其特征在于，所述優化...
【專利技術屬性】
技術研發人員：譚明奎，張書海，楊嘉豪，康海龍，
申請(專利權)人：人工智能與數字經濟廣東省實驗室廣州，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。