【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及癥狀識別，更具體地說，它涉及一種基于知識蒸餾的口語場景主訴癥狀檢測方法、裝置、介質(zhì)及計算機設(shè)備。
技術(shù)介紹
1、現(xiàn)有技術(shù)中，隨著大語言模型的快速發(fā)展，生成式ai在各領(lǐng)域的重要性日益凸顯。但在實際應(yīng)用中醫(yī)問診大模型進(jìn)行問診的場景下，由于用戶輸入文本的口語化程度較高，導(dǎo)致大模型捕捉到的主訴癥狀不準(zhǔn)確，同時疾病癥狀庫中癥狀繁多，也給癥狀定位帶來了巨大困難。
技術(shù)實現(xiàn)思路
1、針對現(xiàn)有技術(shù)存在的不足，本專利技術(shù)的目的在于提供一種基于知識蒸餾的口語場景主訴癥狀檢測方法、裝置、介質(zhì)及計算機設(shè)備，以克服現(xiàn)有的技術(shù)中存在的口語化主訴癥狀難以準(zhǔn)確識別的缺點。
2、本專利技術(shù)的上述技術(shù)目的是通過以下技術(shù)方案得以實現(xiàn)的：一種基于知識蒸餾的口語場景主訴癥狀檢測方法，包括：
3、對采集到的口語化主訴數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注，得到若干學(xué)生數(shù)據(jù)組和若干教師數(shù)據(jù)組；其中所述學(xué)生數(shù)據(jù)組均包括：口語化主訴數(shù)據(jù)及癥狀；所述教師數(shù)據(jù)組均包括：口語順滑數(shù)據(jù)及癥狀；
4、利用所述學(xué)生數(shù)據(jù)組對學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用所述教師數(shù)據(jù)組對教師網(wǎng)絡(luò)進(jìn)行訓(xùn)練；利用訓(xùn)練后的教師網(wǎng)絡(luò)對訓(xùn)練后的學(xué)生網(wǎng)絡(luò)進(jìn)行知識蒸餾，得到主訴癥狀檢測網(wǎng)絡(luò)；其中，所述學(xué)生網(wǎng)絡(luò)和所述教師網(wǎng)絡(luò)均為多標(biāo)簽分類模型；
5、將待識別的口語化主訴語句輸入到主訴癥狀檢測網(wǎng)絡(luò)中進(jìn)行識別，得到對應(yīng)的癥狀預(yù)測結(jié)果。
6、在一個實施例中，所述對采集到的口語化主訴數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注，得到若干學(xué)生數(shù)據(jù)組和若干教師數(shù)據(jù)組，具體包
7、對采集到的口語化主訴數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，對清洗后的口語化主訴數(shù)據(jù)進(jìn)行標(biāo)注，得到與所述口語化主訴數(shù)據(jù)一一對應(yīng)的口語順滑數(shù)據(jù)和癥狀；
8、將所述口語化主訴數(shù)據(jù)、所述口語順滑數(shù)據(jù)以及癥狀記作三元數(shù)據(jù)組；
9、從各個所述三元數(shù)據(jù)組中提取口語化主訴數(shù)據(jù)和癥狀記作學(xué)生數(shù)據(jù)組；
10、從各個所述三元數(shù)據(jù)組中提取口語順滑數(shù)據(jù)和癥狀記作教師數(shù)據(jù)組。
11、在一個實施例中，所述利用所述學(xué)生數(shù)據(jù)組對學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練，具體包括：
12、將學(xué)生數(shù)據(jù)組中的口語化主訴數(shù)據(jù)轉(zhuǎn)化為口語句向量，將學(xué)生數(shù)據(jù)組中的癥狀利用one-hot編碼轉(zhuǎn)化為癥狀向量，并將所述癥狀向量作為口語句向量對應(yīng)的標(biāo)簽；
13、初始化所述學(xué)生網(wǎng)絡(luò)的權(quán)重數(shù)據(jù)，將各個轉(zhuǎn)化后的學(xué)生數(shù)據(jù)組作為訓(xùn)練樣本輸入到學(xué)生網(wǎng)絡(luò)中，依次經(jīng)過各個隱藏層后，并得到輸出層的結(jié)果；其中各個隱藏層均為全連接層，各個隱藏層均通過relu激活函數(shù)進(jìn)行非線性映射；所述輸出層為全連接層，所述輸出層采用sigmoid?激活函數(shù)，所述輸出層輸出的結(jié)果為各個癥狀的概率；
14、計算所述學(xué)生網(wǎng)絡(luò)預(yù)測輸出和真實癥狀標(biāo)簽之間的損失函數(shù)，具體包括：
15、
16、其中，表示第個樣本具有第個標(biāo)簽的真實值；表示學(xué)生網(wǎng)絡(luò)預(yù)測樣本屬于第個標(biāo)簽的概率，其取值范圍為[0,1]；是用于訓(xùn)練學(xué)生網(wǎng)絡(luò)的樣本數(shù)，表示癥狀類別的數(shù)量；
17、使用模型優(yōu)化器根據(jù)所述損失函數(shù)優(yōu)化學(xué)生網(wǎng)絡(luò)的模型權(quán)重，得到訓(xùn)練后的學(xué)生網(wǎng)絡(luò)。
18、在一個實施例中，所述將學(xué)生數(shù)據(jù)組中的口語化主訴數(shù)據(jù)轉(zhuǎn)化為口語句向量，具體包括：
19、利用bert模型中的encoder編碼器分別對各個所述口語化主訴數(shù)據(jù)進(jìn)行編碼，生成對應(yīng)的口語句向量。
20、在一個實施例中，所述利用bert模型中的encoder編碼器分別對各個所述口語化主訴數(shù)據(jù)進(jìn)行編碼，生成對應(yīng)的口語句向量，具體包括：
21、對所述口語化主訴數(shù)據(jù)按照字粒度進(jìn)行分字操作，并將分字后的各個字元轉(zhuǎn)化為one-hot向量，得到與各個所述口語化主訴數(shù)據(jù)對應(yīng)的字嵌入矩陣，包括：
22、
23、其中，表示第個字元對應(yīng)的one-hot向量；
24、利用所述bert模型中的查詢權(quán)重矩陣、鍵權(quán)重矩陣以及值權(quán)重矩陣，計算所述字嵌入矩陣的查詢向量、鍵向量以及值向量，包括：
25、
26、
27、
28、利用所述bert模型中各個注意力機制分別對所述查詢向量、鍵向量以及值向量進(jìn)行計算，生成對應(yīng)的注意力向量，包括：
29、
30、
31、
32、其中，表示第個注意力機制計算得到的注意力向量；表示第個注意力機制中的查詢權(quán)重矩陣；表示第個注意力機制中的鍵權(quán)重矩陣；表示第個注意力機制中的值權(quán)重矩陣；表示向量的維度；
33、將各個所述注意力機制生成的注意力向量拼接后進(jìn)行壓縮，得到與各個所述口語化主訴數(shù)據(jù)對應(yīng)的口語句向量，包括：
34、
35、其中，表示拼接函數(shù)；是附加權(quán)重矩陣。
36、在一個實施例中，所述利用所述教師數(shù)據(jù)組對教師網(wǎng)絡(luò)進(jìn)行訓(xùn)練，具體包括：
37、將教師數(shù)據(jù)組中的口語順滑數(shù)據(jù)轉(zhuǎn)化為順滑句向量，將教師數(shù)據(jù)組中的癥狀利用one-hot編碼轉(zhuǎn)化為癥狀向量，并將所述癥狀向量作為順滑句向量對應(yīng)的標(biāo)簽；
38、初始化所述教師網(wǎng)絡(luò)的權(quán)重數(shù)據(jù)，將各個轉(zhuǎn)化后的教師數(shù)據(jù)組作為訓(xùn)練樣本輸入到教師網(wǎng)絡(luò)中，依次經(jīng)過各個隱藏層后，并得到輸出層的結(jié)果；其中各個隱藏層均為全連接層，各個隱藏層均通過relu激活函數(shù)進(jìn)行非線性映射；所述輸出層為全連接層，所述輸出層采用sigmoid?激活函數(shù)，所述輸出層輸出的結(jié)果為各個癥狀的概率；
39、計算所述教師網(wǎng)絡(luò)預(yù)測輸出和真實癥狀標(biāo)簽之間的損失函數(shù)，具體包括：
40、
41、其中，表示第個樣本具有第個標(biāo)簽的真實值；表示教師網(wǎng)絡(luò)預(yù)測樣本屬于第個標(biāo)簽的概率，其取值范圍為[0,1]；是用于訓(xùn)練教師網(wǎng)絡(luò)的樣本數(shù)，表示癥狀類別的數(shù)量；
42、使用模型優(yōu)化器根據(jù)所述損失函數(shù)優(yōu)化教師網(wǎng)絡(luò)的模型權(quán)重，得到訓(xùn)練后的教師網(wǎng)絡(luò)。
43、在一個實施例中，所述將教師數(shù)據(jù)組中的口語順滑數(shù)據(jù)轉(zhuǎn)化為順滑句向量，具體包括：
44、利用bert模型中的encoder編碼器分別對各個所述口語順滑數(shù)據(jù)進(jìn)行編碼，生成對應(yīng)的順滑句向量。
45、在一個實施例中，所述利用訓(xùn)練后的教師網(wǎng)絡(luò)對訓(xùn)練后的學(xué)生網(wǎng)絡(luò)進(jìn)行知識蒸餾，得到主訴癥狀檢測網(wǎng)絡(luò)，具體包括：
46、將所述口語化主訴數(shù)據(jù)輸入到訓(xùn)練后的教師網(wǎng)絡(luò)中，得到教師網(wǎng)絡(luò)輸出的第一預(yù)測結(jié)果，所述第一預(yù)測結(jié)果為所述教師網(wǎng)絡(luò)預(yù)測所述口語化主訴數(shù)據(jù)符合第個癥狀的預(yù)測概率；
47、將所述口語化主訴數(shù)據(jù)輸入到訓(xùn)練后的學(xué)生網(wǎng)絡(luò)中，得到學(xué)生網(wǎng)絡(luò)輸出的第二預(yù)測結(jié)果，所述第二預(yù)測結(jié)果為所述學(xué)生網(wǎng)絡(luò)預(yù)測所述口語化主訴數(shù)據(jù)符合第個癥狀的預(yù)測概率；
48、利用所有的第一預(yù)測結(jié)果和第二預(yù)測結(jié)果計算學(xué)生網(wǎng)絡(luò)與教師網(wǎng)絡(luò)之間的散度損失；
49、利用所有的第一預(yù)測結(jié)果和第二預(yù)測結(jié)果計算學(xué)生網(wǎng)絡(luò)的總蒸餾損失；
50、利用所述散度損失、學(xué)生網(wǎng)絡(luò)預(yù)測輸出和真實癥狀標(biāo)簽之間的損失函數(shù)以及學(xué)生網(wǎng)絡(luò)本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于知識蒸餾的口語場景主訴癥狀檢測方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于知識蒸餾的口語場景主訴癥狀檢測方法，其特征在于，所述對采集到的口語化主訴數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注，得到若干學(xué)生數(shù)據(jù)組和若干教師數(shù)據(jù)組，具體包括：
3.根據(jù)權(quán)利要求1所述的一種基于知識蒸餾的口語場景主訴癥狀檢測方法，其特征在于，所述利用所述學(xué)生數(shù)據(jù)組對學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練，具體包括：
4.根據(jù)權(quán)利要求1所述的一種基于知識蒸餾的口語場景主訴癥狀檢測方法，其特征在于，所述利用所述教師數(shù)據(jù)組對教師網(wǎng)絡(luò)進(jìn)行訓(xùn)練，具體包括：
5.根據(jù)權(quán)利要求1所述的一種基于知識蒸餾的口語場景主訴癥狀檢測方法，其特征在于，所述利用訓(xùn)練后的教師網(wǎng)絡(luò)對訓(xùn)練后的學(xué)生網(wǎng)絡(luò)進(jìn)行知識蒸餾，得到主訴癥狀檢測網(wǎng)絡(luò)，具體包括：
6.根據(jù)權(quán)利要求5所述的一種基于知識蒸餾的口語場景主訴癥狀檢測方法，其特征在于，所述利用所有的第一預(yù)測結(jié)果和第二預(yù)測結(jié)果計算學(xué)生網(wǎng)絡(luò)與教師網(wǎng)絡(luò)之間的散度損失，具體包括：
7.根據(jù)權(quán)利要求6所述的一種基于知識蒸餾的口語場景主訴癥狀檢測方法，其特征在
8.一種基于知識蒸餾的口語場景主訴癥狀檢測裝置，其特征在于，所述基于知識蒸餾的口語場景主訴癥狀檢測裝置包括：
9.一種計算機可讀存儲介質(zhì)，其上儲存有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時，實現(xiàn)如權(quán)利要求1-7中任意一項所述的基于知識蒸餾的口語場景主訴癥狀檢測方法。
10.一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1-7中任意一項所述的基于知識蒸餾的口語場景主訴癥狀檢測方法。
...【技術(shù)特征摘要】
1.一種基于知識蒸餾的口語場景主訴癥狀檢測方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于知識蒸餾的口語場景主訴癥狀檢測方法，其特征在于，所述對采集到的口語化主訴數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注，得到若干學(xué)生數(shù)據(jù)組和若干教師數(shù)據(jù)組，具體包括：
3.根據(jù)權(quán)利要求1所述的一種基于知識蒸餾的口語場景主訴癥狀檢測方法，其特征在于，所述利用所述學(xué)生數(shù)據(jù)組對學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練，具體包括：
4.根據(jù)權(quán)利要求1所述的一種基于知識蒸餾的口語場景主訴癥狀檢測方法，其特征在于，所述利用所述教師數(shù)據(jù)組對教師網(wǎng)絡(luò)進(jìn)行訓(xùn)練，具體包括：
5.根據(jù)權(quán)利要求1所述的一種基于知識蒸餾的口語場景主訴癥狀檢測方法，其特征在于，所述利用訓(xùn)練后的教師網(wǎng)絡(luò)對訓(xùn)練后的學(xué)生網(wǎng)絡(luò)進(jìn)行知識蒸餾，得到主訴癥狀檢測網(wǎng)絡(luò)，具體包括：
6.根據(jù)權(quán)利要求5所述的一種基于知識蒸餾的口語場景主訴癥狀檢測方法，其特征在于，所述...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：溫川飆，李子奇，劉微微，楊濤，許雅馨，朱紅霞，屈旭，
申請(專利權(quán))人：成都中醫(yī)藥大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。