【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及推薦系統(tǒng)的，尤其涉及一種基于混式反饋和時間序列下的視頻推薦方法及系統(tǒng)。
技術(shù)介紹
1、近年來，短視頻逐漸興起并且備受人們歡迎，tiktok、快手等短視頻平臺都擁有巨大的用戶量與流量，面對巨大的用戶量以及流量，推薦系統(tǒng)(recommendation?system，rs)已成為這一領(lǐng)域的關(guān)鍵技術(shù)。近年來，研究人員開發(fā)了多種推薦系統(tǒng)方法，這些方法都致力于通過用戶反饋構(gòu)建用戶畫像從而實現(xiàn)更好的推薦，實現(xiàn)平臺的一些目標。
2、早期的推薦模型從基于協(xié)同過濾(cf)、矩陣分解(tf)的方法，到融合多種特征的邏輯回歸算法，發(fā)展出一些基于深度學(xué)習(xí)的方法，例如最早引入注意力機制的afm模型。近年來，研究人員提出了多種新的推薦系統(tǒng)模型，self-attentive?sequentialrecommendation(sasrec)模型、bert4rec模型，以及阿里提出的deep?interest?network(din)和deep?interest?evolution?network(dien)模型等。這些推薦模型在短視頻領(lǐng)域內(nèi)都想通過對用戶行為的解讀從而完成短視頻平臺的目標，例如追求更多的用戶存留，更高的用戶參與度以及更長的觀看時長。其中的dien模型，因其提出了對用戶的興趣演化過程進行學(xué)習(xí)，并對用戶興趣做出預(yù)測的思想，受到廣大研究者的認可，例如w?xu等在其基礎(chǔ)上引入分層注意力網(wǎng)絡(luò)提出了具有分層注意力網(wǎng)絡(luò)的深度興趣預(yù)測模型，feng等在其基礎(chǔ)上引入bi-lstm從而提出了深度會話興趣網(wǎng)絡(luò)，shi等在其基礎(chǔ)上使用神經(jīng)網(wǎng)絡(luò)連
3、在實際應(yīng)用中，用戶有兩種參與反饋方式，一種是通過點贊、評論和關(guān)注等交互行為來提供顯示反饋，這些顯示反饋曾被廣泛用作用戶偏好的指示器，盡管這些即時反饋有效，但是這些交互行為帶來的顯示反饋存在一定的隨機性，并且它們對于用戶長期的深刻印象提供的洞察有限。在某些情況下，它們可能會誤導(dǎo)內(nèi)容質(zhì)量的指示，例如：標題引人注目但內(nèi)容質(zhì)量差的內(nèi)容可能最初吸引注意并獲得正面反饋，但最終卻濫用用戶的信任導(dǎo)致用戶留存和參與度的降低。這時就引入了另一種用戶的反饋方式，那就是通過用戶觀看視頻時長來提供隱式反饋，但隱式反饋本身也并不完全可靠。例如，觀看一個60秒的視頻20秒并不比反復(fù)觀看一個5秒的視頻15秒帶來的偏好更強，雖然前者有著更多的觀看時間，因此直接從用戶的反饋中提取偏好信息，作為用戶的興趣標簽，可能會產(chǎn)生對用戶興趣的偏見。因此又誕生出一些試圖優(yōu)化原始反饋的方法，從而消除原始反饋的不可靠性帶來的偏見，但是這種方法的弊端在于需要大量的手動工作，并且可能無法與平臺目標相適配。
4、公告號為cn108875022b的專利技術(shù)專利公開了一種視頻推薦方法及裝置，通過訓(xùn)練得到的深度學(xué)習(xí)模型能夠使得曝光但用戶未點擊的視頻測試集中至少一個第一視頻的預(yù)測點擊率大于預(yù)設(shè)點擊率閾值，預(yù)測點擊率大于所述點擊率閾值的第一視頻為與曝光且用戶點擊過的視頻測試集中至少一個第二視頻相關(guān)的視頻，且第一視頻的點擊率小于第二視頻的點擊率，這樣深度學(xué)習(xí)模型可以將候選推薦視頻中，與用戶興趣點契合的點擊率較高和點擊率較低的視頻均選擇出來，進而推薦給用戶。因此，上述申請?zhí)峁┑囊曨l推薦方法，既能從候選推薦視頻中推薦出用戶喜好的視頻，又可以解決新視頻冷啟動問題。但是此方法僅采用顯示反饋的方法進行推薦，無法準確的捕捉用戶的興趣狀態(tài)。
5、人的興趣是多種多樣的，同一時刻下，人會擁有多種不同的興趣，這種情況可以用“興趣狀態(tài)”來描述。其次，每個興趣都是在動態(tài)變化的，都有屬于它們各自的演化過程。第三，興趣的發(fā)展，是有一定前因后果的(前后關(guān)聯(lián))的。最后興趣是會發(fā)生漂移的，即每個時刻下，每個用戶的興趣都有可能轉(zhuǎn)化為行為，可能一段時間內(nèi)在看籃球類相關(guān)的視頻，突然就轉(zhuǎn)去看書法相關(guān)的視頻。但是由于過往模型的一些局限性，就導(dǎo)致只能根據(jù)用戶大量的歷史行為序列去預(yù)測用戶整體的偏好，而不能對用戶的“下一次”偏好進行預(yù)測。
技術(shù)實現(xiàn)思路
1、針對大多數(shù)視頻推薦方法都是單一反饋，存在對用戶的興趣描繪產(chǎn)生偏見的技術(shù)問題，本專利技術(shù)提出一種基于混式反饋和時間序列下的視頻推薦方法及系統(tǒng)，本專利技術(shù)提出模型cat-dienrec(cross?attention?transformer-deep?interest?evolution?networkrecommendation)，從而實現(xiàn)利用兩種反饋方式混合構(gòu)建用戶興趣狀態(tài)，并且提高了模型的特征提取及長距離依賴能力，更好的捕捉用戶的瞬時興趣以及長期興趣。
2、為了達到上述目的，本專利技術(shù)的技術(shù)方案是這樣實現(xiàn)的：
3、一種基于混式反饋和時間序列下的視頻推薦方法，包括以下步驟：
4、s1：獲取候選視頻、用戶信息、用戶交互行為信息，根據(jù)候選視頻，用戶信息、用戶交互行為信息提取用戶行為特征、平臺目標、上下文特征和用戶畫像特征；
5、s2：將用戶行為特征分為顯式反饋和隱式反饋，利用詞嵌入分別對顯式反饋和隱式反饋進行編碼，分別得到顯式反饋嵌入向量和隱式反饋嵌入向量；對平臺目標、上下文特征、用戶畫像特征分別進行編碼處理轉(zhuǎn)換為對應(yīng)的嵌入向量；
6、s3：基于采用時間序列編碼的transformer模型對顯式反饋嵌入向量和隱式反饋嵌入向量進行交叉注意力計算，得到用戶興趣狀態(tài)；
7、s4：利用用戶興趣狀態(tài)與平臺目標進行注意力分數(shù)計算，基于augru模型對注意力分數(shù)與用戶興趣狀態(tài)進行計算，得到augru模型輸出興趣狀態(tài)序列；
8、s5：將augru模型輸出興趣狀態(tài)序列與平臺目標，上下文特征和用戶肖像特征分別對應(yīng)的嵌入向量進行整合輸出，得到用戶對候選視頻感興趣的概率值，根據(jù)用戶對候選視頻感興趣的概率值輸出推薦列表。
9、步驟s2所述的分別得到顯式反饋嵌入向量和隱式反饋嵌入向量的方法為：將用戶行為特征分為用戶的交互行為帶來的顯式反饋bi＝[bi(1),bi(2),...,bi(t),...,bi(t-1),bi(t)]和用戶的觀看時長帶來的隱式反饋bd＝[bd(1),bd(2),...,bd(t),...,bd(t-1),bd(t)]，基于類別分別對顯式反饋bi和隱式反饋bd進行詞嵌入，得到顯式反饋詞嵌入向量ei＝[ei(1),ei(2),...,ei(t),…,ei(t-1),ei(t)]和隱式反饋詞嵌入向量ed＝[ed(1),ed(2),...,ed(t),…,ed(t-1),ed(t)]，其中ei(t)、ed(t)分別表示第t個時刻的顯式反饋詞嵌入向量和隱式反饋詞嵌入向量，t表示最終時刻；所述對平臺目標、上下文特征、用戶畫像特征分別進行編碼處理的過程為：分別對平臺目標、上下文特征、用戶畫像特征進行one-hot編碼后直接在embeeding層中進行編碼處理轉(zhuǎn)換為嵌入向量。
10、步驟s3所述的基于采用時間序列編碼的transformer模型對顯式反饋嵌入向量和隱式反饋嵌入向量進行交叉注意力計算的方法本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于混式反饋和時間序列下的視頻推薦方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于混式反饋和時間序列下的視頻推薦方法，其特征在于，步驟S2所述的分別得到顯式反饋嵌入向量和隱式反饋嵌入向量的方法為：將用戶行為特征分為用戶的交互行為帶來的顯式反饋bi＝[bi(1),bi(2),...,bi(t),...,bi(T-1),bi(T)]和用戶的觀看時長帶來的隱式反饋bd＝[bd(1),bd(2),...,bd(t),...,bd(T-1),bd(T)]，基于類別分別對顯式反饋bi和隱式反饋bd進行詞嵌入，得到顯式反饋詞嵌入向量ei＝[ei(1),ei(2),...,ei(t),…,ei(T-1),ei(T)]和隱式反饋詞嵌入向量ed＝[ed(1),ed(2),...,ed(t),…,ed(T-1),ed(T)]，其中ei(t)、ed(t)分別表示第t個時刻的顯式反饋詞嵌入向量和隱式反饋詞嵌入向量，T表示最終時刻；所述對平臺目標、上下文特征、用戶畫像特征分別進行編碼處理的過程為：分別對平臺目標、上下文特征、用戶畫像特征進行One-hot編碼后直接在Embe
3.根據(jù)權(quán)利要求2所述的基于混式反饋和時間序列下的視頻推薦方法，其特征在于，步驟S3所述的基于采用時間序列編碼的Transformer模型對顯式反饋嵌入向量和隱式反饋嵌入向量進行交叉注意力計算的方法為：在Transformer模型編碼器部分，利用準確的時間信息代替原有的位置編碼，首先從用戶行為特征的時間戳中提取準確的時間特征，對時間特征進行周期性編碼，將提取的時間特征通過線性變換后分別與顯式反饋詞嵌入向量ei和隱式反饋詞嵌入向量ed的維度匹配，分別進行加和，得到帶有時間序列信息的顯式反饋嵌入向量Tei和帶有時間序列信息的隱式反饋嵌入向量Ted，再分別經(jīng)過線性變換得到帶有時間序列信息的顯式反饋嵌入向量Tei的查詢Qi、鍵Ki和值Vi以及帶有時間序列信息的隱式反饋嵌入向量Ted的查詢Qd、鍵Kd和值Vd；將查詢Qi與查詢Qd進行交換，分別以查詢Qd、鍵Ki和值Vi以及查詢Qi、鍵Kd和值Vd為編碼器中多頭注意力的輸入，均經(jīng)過編碼器計算和解碼器計算，分別得到顯示式反饋概率分布Hi和隱式反饋概率分布Hd，并對進行顯示式反饋概率分布Hi和隱式反饋概率分布Hd進行加權(quán)求和，得到用戶興趣狀態(tài)ht。
4.根據(jù)權(quán)利要求3所述的基于混式反饋和時間序列下的視頻推薦方法，其特征在于，步驟S4所述的利用用戶興趣狀態(tài)與平臺目標進行注意力分數(shù)計算的方法為：首先計算興趣狀態(tài)ht與平臺目標的第t個時間步相關(guān)性得分et：
5.根據(jù)權(quán)利要求4所述的基于混式反饋和時間序列下的視頻推薦方法，其特征在于，步驟S4所述的基于AUGRU模型對注意力分數(shù)與用戶興趣狀態(tài)進行計算的方法為：首先將用戶t時刻下顯示反饋和隱式反饋進行拼接獲取當前時間步輸入xt，更新門通過當前時間步輸入xt和前一個時間步的興趣狀態(tài)ht-1，計算從前一個時間步的興趣狀態(tài)ht-1到當前時間步的興趣狀態(tài)ht應(yīng)保留的歷史信息zt，通過外部的注意力權(quán)重ut動態(tài)調(diào)節(jié)更新門,根據(jù)當前時間步輸入xt和前一個時間步的興趣狀態(tài)ht-1計算候選隱藏狀態(tài)根據(jù)候選隱藏狀態(tài)和歷史信息zt計算輸出的興趣狀態(tài)h′t，最終得到興趣狀態(tài)序列h′＝[h’1,h’2,...,h’T]。
6.根據(jù)權(quán)利要求5所述的基于混式反饋和時間序列下的視頻推薦方法，其特征在于，所述當前時間步輸入xt的計算公式為：xt＝Concat(bi,bd)；所述歷史信息zt的計算公式為：zt＝σ(Wz[xt,ht-1]+bz)，其中，Wz和bz為更新們的權(quán)重和偏置，σ為激活函數(shù)；動態(tài)調(diào)節(jié)更新門的公式為：候選隱藏狀態(tài)的計算公式為：其中，Wh和bh為候選隱藏狀態(tài)計算的權(quán)重和偏置，tanh為激活函數(shù)，rt是重置門，rt＝σ(Wr[xt,ht-1]+br)，Wr和br為重置們的權(quán)重和偏置；所述輸出的興趣狀態(tài)h′t的計算公式為：
7.根據(jù)權(quán)利要求6所述的基于混式反饋和時間序列下的視頻推薦方法，其特征在于，步驟S5所述的進行整合輸出的方法為：將AUGRU模型得到興趣狀態(tài)序列h′與平臺目標、上下文特征和用戶肖像特征進行編碼處理后分別得到嵌入向量做concat操作得到綜合的特征向量表示x，然后進入到全連接層對綜合的特征向量表示x進行線性變換y2＝W5x+b4，W5是權(quán)重矩陣，b4是偏置向量，再通過PReLU或Dice激活函數(shù)對全連接層的輸出y2進行非線性變換，最后通過Sigmoid函數(shù)將PReLU或Dice激活函數(shù)的輸出轉(zhuǎn)換為用戶對候選視頻感興趣的概率值
8.一種基于混式反饋和時間序列下的視...
【技術(shù)特征摘要】
1.一種基于混式反饋和時間序列下的視頻推薦方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于混式反饋和時間序列下的視頻推薦方法，其特征在于，步驟s2所述的分別得到顯式反饋嵌入向量和隱式反饋嵌入向量的方法為：將用戶行為特征分為用戶的交互行為帶來的顯式反饋bi＝[bi(1),bi(2),...,bi(t),...,bi(t-1),bi(t)]和用戶的觀看時長帶來的隱式反饋bd＝[bd(1),bd(2),...,bd(t),...,bd(t-1),bd(t)]，基于類別分別對顯式反饋bi和隱式反饋bd進行詞嵌入，得到顯式反饋詞嵌入向量ei＝[ei(1),ei(2),...,ei(t),…,ei(t-1),ei(t)]和隱式反饋詞嵌入向量ed＝[ed(1),ed(2),...,ed(t),…,ed(t-1),ed(t)]，其中ei(t)、ed(t)分別表示第t個時刻的顯式反饋詞嵌入向量和隱式反饋詞嵌入向量，t表示最終時刻；所述對平臺目標、上下文特征、用戶畫像特征分別進行編碼處理的過程為：分別對平臺目標、上下文特征、用戶畫像特征進行one-hot編碼后直接在embeeding層中進行編碼處理轉(zhuǎn)換為嵌入向量。
3.根據(jù)權(quán)利要求2所述的基于混式反饋和時間序列下的視頻推薦方法，其特征在于，步驟s3所述的基于采用時間序列編碼的transformer模型對顯式反饋嵌入向量和隱式反饋嵌入向量進行交叉注意力計算的方法為：在transformer模型編碼器部分，利用準確的時間信息代替原有的位置編碼，首先從用戶行為特征的時間戳中提取準確的時間特征，對時間特征進行周期性編碼，將提取的時間特征通過線性變換后分別與顯式反饋詞嵌入向量ei和隱式反饋詞嵌入向量ed的維度匹配，分別進行加和，得到帶有時間序列信息的顯式反饋嵌入向量tei和帶有時間序列信息的隱式反饋嵌入向量ted，再分別經(jīng)過線性變換得到帶有時間序列信息的顯式反饋嵌入向量tei的查詢qi、鍵ki和值vi以及帶有時間序列信息的隱式反饋嵌入向量ted的查詢qd、鍵kd和值vd；將查詢qi與查詢qd進行交換，分別以查詢qd、鍵ki和值vi以及查詢qi、鍵kd和值vd為編碼器中多頭注意力的輸入，均經(jīng)過編碼器計算和解碼器計算，分別得到顯示式反饋概率分布hi和隱式反饋概率分布hd，并對進行顯示式反饋概率分布hi和隱式反饋概率分布hd進行加權(quán)求和，得到用戶興趣狀態(tài)ht。
4.根據(jù)權(quán)利要求3所述的基于混式反饋和時間序列下的視頻推薦方法，其特征在于，步驟s4所述的利用用戶興趣狀態(tài)與平臺目標進行注意力分數(shù)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張建偉，蔡增玉，趙之上，朱亮，梁樹軍，代育銘，趙紅英，
申請(專利權(quán))人：鄭州輕工業(yè)大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。