System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請涉及計算機,尤其涉及人工智能,具體涉及一種物品處理方法、一種物品處理裝置、一種計算機設備、一種計算機可讀存儲介質、以及一種計算機程序產品。
技術介紹
1、llm(large?language?model,大語言模型)在接入物品推薦系統后,在物品推薦系統的上游提取物品特征,提取的物品特征可以作為物品推薦系統的下游進行物品推薦的依據。目前,大語言模型內部對語言序列表征的維度(hidden?dimension)往往是比較高的,一般是幾千維,甚至上萬維度,也就是說,大語言模型提取的物品特征的維度比較高。通常情況下,物品推薦系統的下游處理資源有限,有限的處理資源對高維的物品特征的計算耗時會非常大,導致高維的物品特征難以被物品推薦系統的下游任務所使用。因此,亟需訓練一種能夠降低特征維度的模型。
技術實現思路
1、本申請實施例提供了一種物品處理方法、裝置及計算機設備、存儲介質、程序產品,可以訓練得到能夠降低特征維度的模型。
2、一方面,本申請實施例提供了一種物品處理方法,該物品處理方法包括:
3、獲取樣本數據;樣本數據包括樣本序列,樣本序列包括n個物品標識,n個物品標識用于標識被同一物品訪問對象訪問的n個物品,一個物品標識對應一個物品;n個物品標識按照被訪問時間的先后順序排序,n為大于1的整數;
4、獲取每個物品標識分別對應的第一物品特征;第一物品特征的特征維度為第一維度;
5、調用物品處理模型對每個物品標識對應的第一物品特征進行降維處理,得
6、調用物品處理模型基于樣本序列中的前i個物品標識對應的第二物品特征,預測前i個物品標識的下一個物品標識為第i+1個物品標識的概率;i為小于n的正整數;
7、基于預測得到的概率確定物品處理模型的損失信息,并根據損失信息對物品處理模型進行訓練;訓練好的物品處理模型用于進行物品特征的降維。
8、相應地,本申請實施例提供了一種物品處理裝置,該物品處理裝置包括:
9、獲取單元,用于獲取樣本數據;樣本數據包括樣本序列,樣本序列包括n個物品標識,n個物品標識用于標識被同一物品訪問對象訪問的n個物品,一個物品標識對應一個物品;n個物品標識按照被訪問時間的先后順序排序,n為大于1的整數;
10、獲取單元,還用于獲取每個物品標識分別對應的第一物品特征;第一物品特征的特征維度為第一維度;
11、處理單元,用于調用物品處理模型對每個物品標識對應的第一物品特征進行降維處理,得到每個物品標識對應的第二物品特征;第二物品特征的特征維度為第二維度,第一維度高于第二維度;
12、處理單元,還用于調用物品處理模型基于樣本序列中的前i個物品標識對應的第二物品特征,預測前i個物品標識的下一個物品標識為第i+1個物品標識的概率;i為小于n的正整數;
13、處理單元,還用于基于預測得到的概率確定物品處理模型的損失信息,并根據損失信息對物品處理模型進行訓練;訓練好的物品處理模型用于進行物品特征的降維。
14、在一種實現方式中,前i個物品標識表示為第i+1個物品標識的i個前序物品標識;處理單元,用于調用物品處理模型對每個物品標識對應的第一物品特征進行降維處理,得到每個物品標識對應的第二物品特征時,具體用于執行如下步驟:
15、基于i個前序物品標識中的每個前序物品標識對應的第一物品特征,與i個前序物品標識對應的第一物品特征之間的依賴關系,優化每個前序物品標識對應的第一物品特征;
16、將每個前序物品標識優化后的第一物品特征,從第一維度空間映射至第二維度空間,得到每個前序物品標識對應的第二物品特征;
17、其中,第一維度空間中的特征維度為第一維度,第二維度空間中的特征維度為第二維度。
18、在一種實現方式中,i個前序物品標識中的任一個前序物品標識表示為第j個前序物品標識,j為小于或等于i的正整數;處理單元,用于基于i個前序物品標識中的每個前序物品標識對應的第一物品特征,與i個前序物品標識對應的第一物品特征之間的依賴關系,優化每個前序物品標識對應的第一物品特征時,具體用于執行如下步驟:
19、基于第j個前序物品標識對應的第一物品特征與i個前序物品標識對應的第一物品特征之間的依賴關系,確定第j個前序物品標識與i個前序物品標識之間的依賴權重;
20、基于第j個前序物品標識與i個前序物品標識之間的依賴權重,對i個前序物品標識對應的第一物品特征進行加權求和,得到第j個前序物品標識對應的依賴物品特征;
21、對第j個前序物品標識對應的依賴物品特征進行特征增強處理,得到第j個前序物品標識對應的增強物品特征;
22、對第j個前序物品標識對應的第一物品特征、第j個前序物品標識對應的依賴物品特征、以及第j個前序物品標識對應的增強物品特征進行融合處理,得到第j個前序物品標識優化后的第一物品特征。
23、在一種實現方式中,前i個物品標識表示為第i+1個物品標識的i個前序物品標識;處理單元,用于調用物品處理模型對每個物品標識對應的第一物品特征進行降維處理,得到每個物品標識對應的第二物品特征時,具體用于執行如下步驟:
24、將每個物品標識對應的第一物品特征,從第一維度空間映射至第二維度空間,得到每個物品標識對應的映射物品特征;
25、基于i個前序物品標識中的每個前序物品標識對應的映射物品特征,與i個前序物品標識對應的映射物品特征之間的依賴關系,優化每個前序物品標識對應的映射物品特征,得到每個前序物品標識對應的第二物品特征。
26、在一種實現方式中,調用物品處理模型基于樣本序列中的前i個物品標識對應的第二物品特征,預測前i個物品標識的下一個物品標識為第i+1個物品標識的概率時,具體用于執行如下步驟:
27、將前i個物品標識對應的第二物品特征映射至物品空間中,得到前i個物品標識的下一個物品標識為物品空間中的各個物品標識的概率;
28、將物品空間中第i+1個物品標識的概率,確定為前i個物品標識的下一個物品標識為第i+1個物品標識的概率。
29、在一種實現方式中,樣本序列中的任一物品標識對應的第一物品特征的確定過程,包括:
30、獲取物品標識對應物品的多模態描述信息,多模態描述信息包括以下至少一種類型的描述信息:文本、圖像、語音、以及視頻;
31、將多模態描述信息劃分為多個嵌入單元,并獲取每個嵌入單元的嵌入信息;
32、根據各個嵌入單元的嵌入信息之間的依賴關系,確定物品標識對應的第一物品特征。
33、在一種實現方式中,處理單元,還用于執行如下步驟:
34、獲取待處理物品標識;
35、獲取待處理物品標識對應的第一物品特征;
36、調用訓練好的所述物品處理模型,對待本文檔來自技高網...
【技術保護點】
1.一種物品處理方法,其特征在于,包括:
2.如權利要求1所述的方法,其特征在于,所述前i個物品標識表示為所述第i+1個物品標識的i個前序物品標識;所述調用物品處理模型對每個所述物品標識對應的第一物品特征進行降維處理,得到每個所述物品標識對應的第二物品特征,包括:
3.如權利要求2所述的方法,其特征在于,所述i個前序物品標識中的任一個前序物品標識表示為第j個前序物品標識,j為小于或等于i的正整數;所述基于所述i個前序物品標識中的每個所述前序物品標識對應的第一物品特征,與所述i個前序物品標識對應的第一物品特征之間的依賴關系,優化每個所述前序物品標識對應的第一物品特征,包括:
4.如權利要求1所述的方法,其特征在于,所述前i個物品標識表示為所述第i+1個物品標識的i個前序物品標識;所述調用物品處理模型對每個所述物品標識對應的第一物品特征進行降維處理,得到每個所述物品標識對應的第二物品特征,包括:
5.如權利要求1所述的方法,其特征在于,所述調用所述物品處理模型基于所述樣本序列中的前i個物品標識對應的第二物品特征,預測所述前i個物品標識的
6.如權利要求1所述的方法,其特征在于,所述樣本序列中的任一所述物品標識對應的第一物品特征的確定過程,包括:
7.如權利要求1所述的方法,其特征在于,所述方法還包括:
8.如權利要求7所述的方法,其特征在于,所述方法還包括:
9.如權利要求8所述的方法,其特征在于,所述調用訓練好的所述物品處理模型,基于所述掩碼標識對應的掩碼特征,對所述待處理物品標識對應的第一物品特征進行降維處理,得到所述待處理物品標識對應的第二物品特征,包括:
10.如權利要求8所述的方法,其特征在于,所述調用訓練好的所述物品處理模型,基于所述掩碼標識對應的掩碼特征,對所述待處理物品標識對應的第一物品特征進行降維處理,得到所述待處理物品標識對應的第二物品特征,包括:
11.如權利要求7所述的方法,其特征在于,所述根據所述待處理物品標識對應的第二物品特征,對所述待處理物品標識對應的物品進行推薦處理,包括以下至少一種:
12.一種物品處理裝置,其特征在于,包括:
13.一種計算機設備,其特征在于,所述計算機設備包括:
14.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質存儲有計算機程序,所述計算機程序適于由處理器加載并執行如權利要求1-11任一項所述的物品處理方法。
15.一種計算機程序產品,其特征在于,所述計算機程序產品包括計算機程序,所述計算機程序被處理器執行時實現如權利要求1-11任一項所述的物品處理方法。
...【技術特征摘要】
1.一種物品處理方法,其特征在于,包括:
2.如權利要求1所述的方法,其特征在于,所述前i個物品標識表示為所述第i+1個物品標識的i個前序物品標識;所述調用物品處理模型對每個所述物品標識對應的第一物品特征進行降維處理,得到每個所述物品標識對應的第二物品特征,包括:
3.如權利要求2所述的方法,其特征在于,所述i個前序物品標識中的任一個前序物品標識表示為第j個前序物品標識,j為小于或等于i的正整數;所述基于所述i個前序物品標識中的每個所述前序物品標識對應的第一物品特征,與所述i個前序物品標識對應的第一物品特征之間的依賴關系,優化每個所述前序物品標識對應的第一物品特征,包括:
4.如權利要求1所述的方法,其特征在于,所述前i個物品標識表示為所述第i+1個物品標識的i個前序物品標識;所述調用物品處理模型對每個所述物品標識對應的第一物品特征進行降維處理,得到每個所述物品標識對應的第二物品特征,包括:
5.如權利要求1所述的方法,其特征在于,所述調用所述物品處理模型基于所述樣本序列中的前i個物品標識對應的第二物品特征,預測所述前i個物品標識的下一個物品標識為第i+1個物品標識的概率,包括:
6.如權利要求1所述的方法,其特征在于,所述樣本序列中的任一所述物品標識對應的第一物品特征的確定過程,包括:
7.如權...
【專利技術屬性】
技術研發人員:葉祺,秦子淳,吳瑕,
申請(專利權)人:騰訊科技北京有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。