媒體對象推薦方法、裝置、計算機設備和存儲介質制造方法及圖紙

本申請涉及一種媒體對象推薦方法、裝置、計算機設備和存儲介質。所述方法包括：獲取媒體對象的描述文本信息以及媒體對象中的圖像信息；分別對描述文本信息和圖像信息進行編碼，得到相應的文本語義特征向量和圖像語義特征向量；將文本語義特征向量和圖像語義特征向量按照不同階次分別進行交互融合，得到各階次的融合特征向量；將各階次的融合特征向量進行融合，得到多階融合特征向量；根據多階融合特征向量預測得到媒體對象的預測曝光點擊率；基于預測曝光點擊率對媒體對象進行推薦處理。采用本方法能夠克服媒體對象推薦的局限性。用本方法能夠克服媒體對象推薦的局限性。用本方法能夠克服媒體對象推薦的局限性。

【技術實現步驟摘要】
媒體對象推薦方法、裝置、計算機設備和存儲介質


[0001]本申請涉及內容推薦
，特別是涉及一種媒體對象推薦方法、裝置、計算機設備和存儲介質。

技術介紹

[0002]隨著計算機技術的發展，出現了內容推薦技術，其中，內容推薦可包括媒體對象推薦。媒體對象推薦可根據用戶輸入的查詢條件或用戶的歷史偏好行為，給用戶推薦與查詢條件或歷史偏好行為相關度較高的媒體對象。傳統技術中，推薦給用戶的媒體對象，通常是基于媒體對象歷史的曝光度和點擊率等統計信息排序得到的。
[0003]然而，僅通過媒體對象歷史的曝光度和點擊率等統計信息對媒體對象進行排序，將導致近期被多次曝光和點擊的媒體對象更容易再次被優先曝光，從而導致索引庫中大量的優質媒體對象脫離不了冷啟動階段，而始終局限于推薦多次曝光和點擊的媒體對象，存在一定的局限性。

技術實現思路

[0004]基于此，有必要針對上述技術問題，提供一種能夠克服局限性的媒體對象推薦方法、裝置、計算機設備和存儲介質。
[0005]一種媒體對象推薦方法，所述方法包括：
[0006]獲取媒體對象的描述文本信息以及所述媒體對象中的圖像信息；
[0007]分別對所述描述文本信息和所述圖像信息進行編碼，得到相應的文本語義特征向量和圖像語義特征向量；
[0008]將所述文本語義特征向量和所述圖像語義特征向量按照不同階次分別進行交互融合，得到各階次的融合特征向量；
[0009]將各階次的融合特征向量進行融合，得到多階融合特征向量；
[0010]根據所述多階融合特征向量預測得到所述媒體對象的預測曝光點擊率；
[0011]基于所述預測曝光點擊率對所述媒體對象進行推薦處理。
[0012]一種媒體對象推薦裝置，所述裝置包括：
[0013]獲取模塊，用于獲取媒體對象的描述文本信息以及所述媒體對象中的圖像信息；
[0014]編碼模塊，用于分別對所述描述文本信息和所述圖像信息進行編碼，得到相應的文本語義特征向量和圖像語義特征向量；
[0015]融合模塊，用于將所述文本語義特征向量和所述圖像語義特征向量按照不同階次分別進行交互融合，得到各階次的融合特征向量；將各階次的融合特征向量進行融合，得到多階融合特征向量；
[0016]預測模塊，用于根據所述多階融合特征向量預測得到所述媒體對象的預測曝光點擊率；
[0017]推薦模塊，用于基于所述預測曝光點擊率對所述媒體對象進行推薦處理。
[0018]在一個實施例中，所述融合模塊還用于對所述文本語義特征向量和所述圖像語義特征向量進行一階交互融合，得到一階交互對應的融合特征向量；對所述文本語義特征向量和所述圖像語義特征向量進行二階交互融合，得到二階交互對應的融合特征向量；將所述一階交互對應的融合特征向量和所述二階交互對應的融合特征向量進行融合，得到多階融合特征向量。
[0019]在一個實施例中，所述融合模塊還用于將所述文本語義特征向量和所述圖像語義特征向量拼接，并將拼接后的向量乘以第一參數矩陣，得到一階交互對應的融合特征向量；基于第二參數矩陣，將所述文本語義特征向量和所述圖像語義特征向量進行二階交互融合，得到二階交互對應的融合特征向量。
[0020]在一個實施例中，所述預測曝光點擊率是由已訓練好的圖文多模態模型輸出得到；所述編碼模塊還用于將所述描述文本信息和所述圖像信息輸入至已訓練好的所述圖文多模態模型，以通過所述圖文多模態模型中的編碼器分別對所述描述文本信息和所述圖像信息進行編碼，得到相應的文本語義特征向量和圖像語義特征向量。
[0021]在一個實施例中，所述圖文多模態模型中包括文本編碼器和圖像編碼器；所述編碼模塊還用于通過所述文本編碼器對所述描述文本信息進行語義特征提取，得到所述描述文本信息對應的文本語義特征向量；通過所述圖像編碼器對所述圖像信息進行語義特征提取，得到所述圖像信息對應的圖像語義特征向量。
[0022]在一個實施例中，所述圖文多模態模型通過模型訓練步驟得到，所述裝置還包括：
[0023]訓練模塊，用于在每輪迭代訓練中，將樣本媒體對象的樣本描述文本信息和所述樣本媒體對象中的樣本圖像信息輸入至待訓練的圖文多模態模型，得到所述樣本媒體對象的預測曝光點擊率；基于所述樣本媒體對象的預測曝光點擊率和所述樣本媒體對象的真實曝光點擊率之間的差異，確定損失值；朝著使所述損失值減少的方向，調整所述待訓練的圖文多模態模型的模型參數，以進行迭代訓練，直至滿足迭代停止條件時，得到已訓練好的圖文多模態模型。
[0024]在一個實施例中，所述媒體對象為多個；所述推薦模塊還用于基于所述預測曝光點擊率對多個所述媒體對象進行排序，得到排序結果；在推薦所述媒體對象時，根據所述排序結果對所述媒體對象進行推薦處理。
[0025]在一個實施例中，所述推薦模塊還用于確定各所述媒體對象的真實曝光點擊率；基于所述真實曝光點擊率和所述預測曝光點擊率對多個所述媒體對象進行排序，得到排序結果。
[0026]在一個實施例中，推薦模塊還用于響應于搜索請求，確定所述搜索請求中的搜索字段與各所述媒體對象的描述文本信息之間的匹配度；基于所述匹配度、所述真實曝光點擊率和所述預測曝光點擊率對多個所述媒體對象進行排序，得到排序結果。
[0027]在一個實施例中，所述媒體對象為視頻對象；所述獲取模塊還用于獲取所述視頻對象的標題文本信息，作為所述視頻對象的描述文本信息；從所述視頻對象中提取關鍵幀，作為所述視頻對象中的圖像信息。
[0028]在一個實施例中，所述裝置還包括：
[0029]接收模塊，用于在接收到基于子應用的頁面觸發的媒體對象搜索請求時，執行所述基于所述預測曝光點擊率對所述媒體對象進行推薦處理。
[0030]發送模塊，用于將所述基于所述預測曝光點擊率對所述媒體對象進行推薦處理得到的目標媒體對象，推薦至運行有所述子應用的終端，以指示所述終端在所述子應用的頁面中展示所述目標媒體對象的推薦信息。
[0031]一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執行所述計算機程序時實現以下步驟：
[0032]獲取媒體對象的描述文本信息以及所述媒體對象中的圖像信息；
[0033]分別對所述描述文本信息和所述圖像信息進行編碼，得到相應的文本語義特征向量和圖像語義特征向量；
[0034]將所述文本語義特征向量和所述圖像語義特征向量按照不同階次分別進行交互融合，得到各階次的融合特征向量；
[0035]將各階次的融合特征向量進行融合，得到多階融合特征向量；
[0036]根據所述多階融合特征向量預測得到所述媒體對象的預測曝光點擊率；
[0037]基于所述預測曝光點擊率對所述媒體對象進行推薦處理。
[0038]一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現以下步驟：
[0039]獲取媒體對象的描述文本信息以及所述媒體對象中的圖像信息；
[0本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種媒體對象推薦方法，其特征在于，所述方法包括：獲取媒體對象的描述文本信息以及所述媒體對象中的圖像信息；分別對所述描述文本信息和所述圖像信息進行編碼，得到相應的文本語義特征向量和圖像語義特征向量；將所述文本語義特征向量和所述圖像語義特征向量按照不同階次分別進行交互融合，得到各階次的融合特征向量；將各階次的融合特征向量進行融合，得到多階融合特征向量；根據所述多階融合特征向量預測得到所述媒體對象的預測曝光點擊率；基于所述預測曝光點擊率對所述媒體對象進行推薦處理。2.根據權利要求1所述的方法，其特征在于，所述將所述文本語義特征向量和所述圖像語義特征向量按照不同階次分別進行交互融合，得到各階次的融合特征向量，包括：對所述文本語義特征向量和所述圖像語義特征向量進行一階交互融合，得到一階交互對應的融合特征向量；對所述文本語義特征向量和所述圖像語義特征向量進行二階交互融合，得到二階交互對應的融合特征向量；所述將各階次的融合特征向量進行融合，得到多階融合特征向量，包括：將所述一階交互對應的融合特征向量和所述二階交互對應的融合特征向量進行融合，得到多階融合特征向量。3.根據權利要求2所述的方法，其特征在于，所述對所述文本語義特征向量和所述圖像語義特征向量進行一階交互融合，得到一階交互對應的融合特征向量，包括：將所述文本語義特征向量和所述圖像語義特征向量拼接，并將拼接后的向量乘以第一參數矩陣，得到一階交互對應的融合特征向量；所述對所述文本語義特征向量和所述圖像語義特征向量進行二階交互融合，得到二階交互對應的融合特征向量，包括：基于第二參數矩陣，將所述文本語義特征向量和所述圖像語義特征向量進行二階交互融合，得到二階交互對應的融合特征向量。4.根據權利要求1所述的方法，其特征在于，所述預測曝光點擊率是由已訓練好的圖文多模態模型輸出得到；所述分別對所述描述文本信息和所述圖像信息進行編碼，得到相應的文本語義特征向量和圖像語義特征向量，包括：將所述描述文本信息和所述圖像信息輸入至已訓練好的所述圖文多模態模型，以通過所述圖文多模態模型中的編碼器分別對所述描述文本信息和所述圖像信息進行編碼，得到相應的文本語義特征向量和圖像語義特征向量。5.根據權利要求4所述的方法，其特征在于，所述圖文多模態模型中包括文本編碼器和圖像編碼器；所述通過所述圖文多模態模型中的編碼器分別對所述描述文本信息和所述圖像信息進行編碼，得到相應的文本語義特征向量和圖像語義特征向量，包括：通過所述文本編碼器對所述描述文本信息進行語義特征提取，得到所述描述文本信息對應的文本語義特征向量；
通過所述圖像編碼器對所述圖像信息進行語義特征提取，得到所述圖像信息對應的圖像語義特征向量。6.根據權利要求4所述的方法，其特征在于，所述圖文多模態模型通過模型訓練步驟得到，所述模型訓練步驟包括：在每輪迭代訓練中，將樣本媒體對象的樣本描述文本信息和所述樣本媒體對象中的樣本圖像信息輸入至待訓練的圖文多模態模型，得到所述樣本媒體對象的預測曝光點擊率；基于所述樣本媒體對象的預測曝光點擊率和所述樣本媒體對象的真實曝光點擊率之間的差異，確定損失值；朝著使所述損失值減少的方向，調整所述待訓練的圖文多模態模型的模型參數，以進行迭代訓練，直至...

【專利技術屬性】
技術研發人員：黃劍輝，
申請(專利權)人：騰訊科技深圳有限公司，
類型：發明
國別省市：