【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)整體而言涉及基于神經(jīng)網(wǎng)絡(luò)的排序模型的訓(xùn)練和操作。
技術(shù)介紹
1、學(xué)習(xí)排序(ltr)或機器學(xué)習(xí)排序(mlr)是對機器學(xué)習(xí)技術(shù)的應(yīng)用，為信息系統(tǒng)生成排序模型。不同的應(yīng)用可生成不同的排序模型。這些排序模型的性能(如準(zhǔn)確性、公平性等)可能取決于訓(xùn)練數(shù)據(jù)和訓(xùn)練過程等因素。
技術(shù)實現(xiàn)思路
1、根據(jù)本專利技術(shù)的第一方面，提供了一種用于訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的排序模型的計算機實現(xiàn)方法。該計算機實現(xiàn)方法包括：對訓(xùn)練數(shù)據(jù)集執(zhí)行訓(xùn)練數(shù)據(jù)增強操作以生成合成訓(xùn)練數(shù)據(jù)集，以及使用訓(xùn)練數(shù)據(jù)集和合成訓(xùn)練數(shù)據(jù)集來訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的排序模型。對于多個查詢中的每個查詢而言，訓(xùn)練數(shù)據(jù)集包括各自的查詢文檔數(shù)據(jù)和各自的相關(guān)性判斷數(shù)據(jù)。查詢的查詢-文檔數(shù)據(jù)包括與查詢的多個查詢-文檔對相關(guān)聯(lián)的數(shù)據(jù)。查詢的相關(guān)性判斷數(shù)據(jù)包括與查詢相關(guān)聯(lián)的一組或多組用戶反饋(如用戶點擊)數(shù)據(jù)。訓(xùn)練數(shù)據(jù)集具有不平衡的訓(xùn)練數(shù)據(jù)分布，使得多個查詢中至少其中一些的可用的相關(guān)性判斷數(shù)據(jù)的量不同，而合成訓(xùn)練數(shù)據(jù)集適用于減少訓(xùn)練數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)分布不平衡。
2、可選地，不平衡的訓(xùn)練數(shù)據(jù)分布整體遵循長尾分布或重尾分布。
3、可選地，訓(xùn)練數(shù)據(jù)增強操作包括：(i)對于多個查詢中的每個查詢而言，確定查詢的相應(yīng)的表征；(ii)對于多個查詢中的每個查詢而言，基于所確定的多個查詢的表征，確定一個或多個相應(yīng)的相鄰查詢；以及(iii)對于多個查詢中的一個或多個查詢而言，基于與查詢相關(guān)聯(lián)的相關(guān)性判斷數(shù)據(jù)和與查詢的一個或多個相鄰查詢相關(guān)聯(lián)的相關(guān)性判斷數(shù)據(jù)，
4、可選地，多個查詢中的每個查詢分別對應(yīng)于具有相應(yīng)特征的多個查詢-文檔對，且根據(jù)查詢的相應(yīng)特征確定查詢的相應(yīng)的表征。
5、可選地，查詢的相應(yīng)的表征的確定，是基于查詢的相應(yīng)特征的統(tǒng)計量。
6、可選地，查詢的相應(yīng)的表征的確定，是基于查詢的相應(yīng)特征的平均值。
7、可選地，一個或多個各自的相鄰查詢的確定基于k-最近鄰(knn)方法。
8、可選地，生成查詢的合成訓(xùn)練數(shù)據(jù)包括：(a)從與查詢相關(guān)聯(lián)的多組用戶反饋數(shù)據(jù)中采樣與查詢相關(guān)聯(lián)的一組用戶反饋數(shù)據(jù)，以獲得第一數(shù)據(jù)樣本；(b)選擇與查詢相關(guān)聯(lián)的相鄰查詢之一，并從與所選的相鄰查詢相關(guān)聯(lián)的多組用戶反饋數(shù)據(jù)中采樣與所選相鄰查詢相關(guān)聯(lián)的一組用戶反饋數(shù)據(jù)，以獲得第二數(shù)據(jù)樣本；以及(c)基于第一數(shù)據(jù)樣本和第二數(shù)據(jù)樣本合成數(shù)據(jù)樣本。在某些實施例中，(a)中的采樣可以是隨機的。在某些實施例中，(b)中的選擇可以是隨機的。在某些實施例中，(b)中的采樣可以是隨機的。
9、可選地，數(shù)據(jù)樣本的合成基于：
10、
11、其中，l′是合成數(shù)據(jù)樣本，是第一數(shù)據(jù)樣本，是第二數(shù)據(jù)樣本，λ是超參數(shù)。優(yōu)選的是，0<λ<1。
12、可選地，分別為多個查詢中的一個或多個生成合成訓(xùn)練數(shù)據(jù)進(jìn)一步包括：重復(fù)步驟(a)至(c)以合成多個數(shù)據(jù)樣本。
13、可選地，為多個查詢中的每一個分別重復(fù)步驟(a)至(c)的次數(shù)取決于(適應(yīng)于)與查詢相關(guān)聯(lián)的用戶反饋數(shù)據(jù)的量。
14、可選地，上述計算機實現(xiàn)方法進(jìn)一步包括：根據(jù)多個查詢的相關(guān)性判斷數(shù)據(jù)，確定多個查詢中的每一個的出現(xiàn)頻率或相對出現(xiàn)頻率。可選地，針對多個查詢中的每一個而重復(fù)步驟(a)至(c)的次數(shù)，取決于所確定的相應(yīng)查詢的出現(xiàn)頻率或相對出現(xiàn)頻率。
15、可選地，查詢的相對出現(xiàn)頻率是根據(jù)以下條件確定的：
16、
17、其中，對應(yīng)于所述查詢的尾部度量，ti是所述查詢的用戶反饋數(shù)據(jù)的集的數(shù)量。
18、可選地，針對多個查詢中的每一個而重復(fù)步驟(a)至(c)的次數(shù)與加權(quán)因子wi相關(guān)聯(lián)，該加權(quán)因子wi定義為
19、
20、其中，we是控制合成數(shù)據(jù)樣本總體權(quán)重的超參數(shù)，tmax和tmin分別是t的最大值和最小值，wc是閾值。
21、可選地，基于神經(jīng)網(wǎng)絡(luò)的排序模型包括：第一模型分支，具有第一多層感知器和與第一多層感知器可操作耦合的第一預(yù)測器；第二模型分支，具有第二多層感知器和與第二多層感知器可操作耦合的第二預(yù)測器；以及組合器，用于組合第一預(yù)測器的輸出和第二預(yù)測器的輸出。第一多層感知器和第二多層感知器可以具有相同的模型架構(gòu)/結(jié)構(gòu)。第一預(yù)測器和第二預(yù)測器可以具有相同的架構(gòu)/結(jié)構(gòu)。
22、可選地，組合器被配置為對第一預(yù)測器的輸出和/或?qū)Φ诙A(yù)測器的輸出進(jìn)行加權(quán)。
23、可選地，基于神經(jīng)網(wǎng)絡(luò)的排序模型的訓(xùn)練包括：使用基于神經(jīng)網(wǎng)絡(luò)的排序模型，基于訓(xùn)練數(shù)據(jù)集和合成訓(xùn)練數(shù)據(jù)集執(zhí)行排序或評分操作。
24、可選地，排序或評分操作包括：使用第一模型分支處理訓(xùn)練數(shù)據(jù)集；以及使用第二模型分支處理訓(xùn)練數(shù)據(jù)集和合成訓(xùn)練數(shù)據(jù)集的組合。
25、可選地，上述計算機實現(xiàn)方法進(jìn)一步包括：根據(jù)所執(zhí)行的排序或評分操作確定排序或評分損失
26、可選地，基于神經(jīng)網(wǎng)絡(luò)的排序模型的訓(xùn)練進(jìn)一步包括：使用基于神經(jīng)網(wǎng)絡(luò)的排序模型，基于訓(xùn)練數(shù)據(jù)集和/或合成訓(xùn)練數(shù)據(jù)集執(zhí)行對比學(xué)習(xí)操作。
27、可選地，對比學(xué)習(xí)操作包括：對于多個查詢中的一個或多個而言，對于與該查詢的多個查詢-文檔對中的每一個對相關(guān)聯(lián)的數(shù)據(jù)，執(zhí)行數(shù)據(jù)擾動操作，以便為多個查詢-文檔對中的每一個的數(shù)據(jù)生成各自的增強數(shù)據(jù)；以及使用基于神經(jīng)網(wǎng)絡(luò)的排序模型處理增強數(shù)據(jù)。
28、可選地，數(shù)據(jù)擾動操作包括：為多個查詢-文檔對中的每一個的數(shù)據(jù)中的每一個生成：具有第一噪聲注入程度的第一組增強數(shù)據(jù)；以及具有不同于第一噪聲注入程度的第二噪聲注入程度的第二組增強數(shù)據(jù)。
29、可選地，基于神經(jīng)網(wǎng)絡(luò)的排序模型進(jìn)一步包括：與第一多層感知器可操作地耦合的第一投影器(projector)和與第二多層感知器可操作地耦合的第二投影器。可選地，對比學(xué)習(xí)操作進(jìn)一步包括：使用第一多層感知器和第一投影器處理增強數(shù)據(jù)(例如，第一組和第二組增強數(shù)據(jù))；以及使用第二多層感知器和第二投影器處理增強數(shù)據(jù)(例如，第一組和第二組增強數(shù)據(jù))。
30、可選地，上述計算機實現(xiàn)方法進(jìn)一步包括：根據(jù)對比學(xué)習(xí)操作的執(zhí)行情況確定對比損失
31、可選地，上述計算機實現(xiàn)方法進(jìn)一步包括：基于所述排序或評分操作的執(zhí)行和所述對比學(xué)習(xí)操作的執(zhí)行，執(zhí)行聯(lián)合優(yōu)化操作。
32、可選地，聯(lián)合優(yōu)化操作包括：聯(lián)合優(yōu)化與執(zhí)行排序或評分操作相關(guān)聯(lián)的排序或評分損失以及與執(zhí)行對比學(xué)習(xí)操作相關(guān)聯(lián)的對比損失
33、可選地，聯(lián)合優(yōu)化包括：優(yōu)化總損失其等于其中γ為超參數(shù)。
34、在本專利技術(shù)的第二個方面，提供了一種用于訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的排序模型的系統(tǒng)，包括：一個或多個處理器，以及存儲一個或多個程序的存儲器，所述一個或多個程序被配置為由一個或多個處理器執(zhí)行，所述一個或多個程序包括用于執(zhí)行或促進(jìn)執(zhí)行上述第一方面的計算機實現(xiàn)方法的指令。
35、在本專利技術(shù)的第三個方面，提供了一種非暫時性計算機可讀存儲介質(zhì)，其中存儲了一個或多個程序本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種用于訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的排序模型的計算機實現(xiàn)方法，包括：
2.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)方法，其中所述不平衡的訓(xùn)練數(shù)據(jù)分布整體遵循長尾分布或重尾分布。
3.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)方法，其中所述訓(xùn)練數(shù)據(jù)增強操作包括：
4.根據(jù)權(quán)利要求3所述的計算機實現(xiàn)方法，其中：
5.根據(jù)權(quán)利要求4所述的計算機實現(xiàn)方法，其中所述確定所述查詢的所述相應(yīng)的表征，是基于所述查詢的所述相應(yīng)特征的統(tǒng)計量。
6.根據(jù)權(quán)利要求5所述的計算機實現(xiàn)方法，其中所述確定所述查詢的所述相應(yīng)的表征，是基于所述查詢的所述相應(yīng)特征的平均值。
7.根據(jù)權(quán)利要求3所述的計算機實現(xiàn)方法，其中所述一個或多個相應(yīng)的相鄰查詢的確定基于k-最近鄰方法。
8.根據(jù)權(quán)利要求3所述的計算機實現(xiàn)方法，其中為查詢生成所述合成訓(xùn)練數(shù)據(jù)包括：
9.根據(jù)權(quán)利要求8所述的計算機實現(xiàn)方法，其中所述數(shù)據(jù)樣本的合成基于：
10.根據(jù)權(quán)利要求9所述的計算機實現(xiàn)方法，其中0<λ<1。
11.根據(jù)權(quán)利要求8所述的計算機實現(xiàn)
12.根據(jù)權(quán)利要求11所述的計算機實現(xiàn)方法，其中針對所述多個查詢中的每一個而重復(fù)步驟(a)至(c)的次數(shù)，取決于與該查詢相關(guān)的用戶反饋數(shù)據(jù)的量。
13.根據(jù)權(quán)利要求11所述的計算機實現(xiàn)方法，還包括：
14.根據(jù)權(quán)利要求13所述的計算機實現(xiàn)方法，其中查詢的所述相對出現(xiàn)頻率是根據(jù)以下條件確定的：
15.根據(jù)權(quán)利要求14所述的計算機實現(xiàn)方法，其中針對所述多個查詢中的每一個而重復(fù)步驟(a)至(c)的次數(shù)，與加權(quán)因子wi相關(guān)聯(lián)，該加權(quán)因子wi定義為
16.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)方法，其中所述基于神經(jīng)網(wǎng)絡(luò)的排序模型包括：
17.根據(jù)權(quán)利要求16所述的計算機實現(xiàn)方法，其中所述組合器被配置為對所述第一預(yù)測器的所述輸出應(yīng)用加權(quán)，和/或?qū)Φ诙A(yù)測器的所述輸出應(yīng)用加權(quán)。
18.根據(jù)權(quán)利要求16所述的計算機實現(xiàn)方法，其中所述基于神經(jīng)網(wǎng)絡(luò)的排序模型的訓(xùn)練包括：
19.根據(jù)權(quán)利要求18所述的計算機實現(xiàn)方法，其中所述排序或評分操作包括：
20.根據(jù)權(quán)利要求19所述的計算機實現(xiàn)方法，還包括：
21.根據(jù)權(quán)利要求18所述的計算機實現(xiàn)方法，其中所述基于神經(jīng)網(wǎng)絡(luò)的排序模型的所述訓(xùn)練進(jìn)一步包括：
22.根據(jù)權(quán)利要求21所述的計算機實現(xiàn)方法，其中所述對比學(xué)習(xí)操作包括：
23.根據(jù)權(quán)利要求22所述的計算機實現(xiàn)方法，其中所述數(shù)據(jù)擾動操作包括：
24.根據(jù)權(quán)利要求22所述的計算機實現(xiàn)方法，其中基于神經(jīng)網(wǎng)絡(luò)的排序模型還包括：
25.根據(jù)權(quán)利要求22所述的計算機實現(xiàn)方法，還包括根據(jù)所述對比學(xué)習(xí)操作的執(zhí)行情況確定對比損失
26.根據(jù)權(quán)利要求22所述的計算機實現(xiàn)方法，還包括根據(jù)所述排序或評分操作的執(zhí)行以及所述對比學(xué)習(xí)操作的執(zhí)行，執(zhí)行聯(lián)合優(yōu)化操作。
27.根據(jù)權(quán)利要求26所述的計算機實現(xiàn)方法，其中所述聯(lián)合優(yōu)化操作包括聯(lián)合優(yōu)化與執(zhí)行所述排序或評分操作相關(guān)聯(lián)的排序或評分損失以及與執(zhí)行所述對比學(xué)習(xí)操作相關(guān)聯(lián)的對比損失
28.根據(jù)權(quán)利要求27所述的計算機實現(xiàn)方法，其中所述聯(lián)合優(yōu)化包括優(yōu)化總損失其等于其中γ為超參數(shù)。
29.一種用于訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的排序模型的系統(tǒng)，包括：
30.一種用于操作使用權(quán)利要求1的方法訓(xùn)練的基于神經(jīng)網(wǎng)絡(luò)的排序模型的計算機實現(xiàn)方法，包括：
...【技術(shù)特征摘要】
1.一種用于訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的排序模型的計算機實現(xiàn)方法，包括：
2.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)方法，其中所述不平衡的訓(xùn)練數(shù)據(jù)分布整體遵循長尾分布或重尾分布。
3.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)方法，其中所述訓(xùn)練數(shù)據(jù)增強操作包括：
4.根據(jù)權(quán)利要求3所述的計算機實現(xiàn)方法，其中：
5.根據(jù)權(quán)利要求4所述的計算機實現(xiàn)方法，其中所述確定所述查詢的所述相應(yīng)的表征，是基于所述查詢的所述相應(yīng)特征的統(tǒng)計量。
6.根據(jù)權(quán)利要求5所述的計算機實現(xiàn)方法，其中所述確定所述查詢的所述相應(yīng)的表征，是基于所述查詢的所述相應(yīng)特征的平均值。
7.根據(jù)權(quán)利要求3所述的計算機實現(xiàn)方法，其中所述一個或多個相應(yīng)的相鄰查詢的確定基于k-最近鄰方法。
8.根據(jù)權(quán)利要求3所述的計算機實現(xiàn)方法，其中為查詢生成所述合成訓(xùn)練數(shù)據(jù)包括：
9.根據(jù)權(quán)利要求8所述的計算機實現(xiàn)方法，其中所述數(shù)據(jù)樣本的合成基于：
10.根據(jù)權(quán)利要求9所述的計算機實現(xiàn)方法，其中0<λ<1。
11.根據(jù)權(quán)利要求8所述的計算機實現(xiàn)方法，其中為所述多個查詢中的一個或多個查詢分別生成所述合成訓(xùn)練數(shù)據(jù)，進(jìn)一步包括：
12.根據(jù)權(quán)利要求11所述的計算機實現(xiàn)方法，其中針對所述多個查詢中的每一個而重復(fù)步驟(a)至(c)的次數(shù)，取決于與該查詢相關(guān)的用戶反饋數(shù)據(jù)的量。
13.根據(jù)權(quán)利要求11所述的計算機實現(xiàn)方法，還包括：
14.根據(jù)權(quán)利要求13所述的計算機實現(xiàn)方法，其中查詢的所述相對出現(xiàn)頻率是根據(jù)以下條件確定的：
15.根據(jù)權(quán)利要求14所述的計算機實現(xiàn)方法，其中針對所述多個查詢中的每一個而重復(fù)步驟(a)至(c)的次數(shù)，與加權(quán)因子wi相關(guān)聯(lián)，該加權(quán)因子wi定義為
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：羅斯淳，宋林琦，
申請(專利權(quán))人：香港城市大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。