【技術實現步驟摘要】
本專利技術屬于推薦方法，具體涉及一種基于知識圖譜和強化學習的音樂推薦方法。
技術介紹
1、隨著互聯網技術、移動技術和物聯網技術的快速發展，信息過載問題相應出現。新媒體的崛起，音樂創作達到了前所未有的高峰，歌曲數量呈現爆發式增長。這使得聽眾在音樂海洋中尋找符合個人音樂審美的歌曲變得極為具有挑戰性。從各類音樂流派到地域性音樂風格，多元化的音樂內容為聽眾提供了更廣泛的選擇，但也在某種程度上使他們面臨了信息過載的困擾。一般的音樂推薦系統通過協同過濾(cf)根據用戶的歷史音樂交互記錄，學習出更準確的用戶興趣表示，以便于向戶推薦感興趣的音樂。但在現實生活中，協同過濾的推薦準確度并不高且缺乏一定的可解釋度，而將知識圖譜運用到推薦系統中，可通過在圖譜中的路徑導航，能在一定程度上緩解此問題。而在構建用戶和音樂的關系模型中進一步融入了提示學習，精準捕捉用戶的用戶音樂偏好，使推薦的效果更加顯著。
2、而強化學習通過模擬學習過程中的獎懲機制，分析如何行動以最大化累積獎勵。它通過讓智能體在與環境的交互中學習最優策略，能夠做出更有長遠收益的決策，可以更好地解決推薦過程中的決策問題。利用強化學習算法進行訓練，預測用戶可能感興趣的音樂內容。這有助于解決傳統推薦方法在音樂主觀性和多樣性方面的不足，從而提供更加符合用戶偏好的音樂推薦。
技術實現思路
1、本專利技術的目的是解決上述問題，提出了一種基于知識圖譜和強化學習的音樂推薦方法，該模型在構建用戶與音樂知識圖譜的基礎上，融入了提示學習，并引入了強化學習策
2、本專利技術為實現上述專利技術目的，采取的技術方案如下：
3、一種基于知識圖譜和強化學習的音樂推薦方法，包含以下步驟：
4、s1：從音樂數據集中提取用戶、歌曲的信息以及他們的交互記錄并進行知識抽?。?/p>
5、s2：根據上述抽取的實體、關系和屬性，構建知識圖譜的節點和邊，利用圖形數據庫存儲和管理知識圖譜并進行知識表示；
6、s3：根據用戶的行為特點和需求，設計合理的提示模板并生成提示輸入，經過模型訓練后，構建用戶音樂偏好模型；
7、s4：根據用戶音樂偏好模型和用戶與音樂的實際歷史交互行為，構建用戶偏好音樂知識圖譜；
8、s5：設計一個基于強化學習的推薦策略，并根據用戶反饋更新優化推薦策略。
9、進一步的作為本專利技術的優選技術方案，所述步驟s1包括以下步驟：從音樂數據集中提取用戶、歌曲的信息以及他們的交互記錄。對數據進行清洗和預處理，確保數據的準確性和一致性：去除重復數據、缺失關鍵字段的數據以及明顯錯誤的數據；對用戶信息進行去重和歸一化處理，確保每個用戶只有一個唯一標識；對歌曲信息進行標準化處理，如統一歌曲名、歌手名的格式。接著對處理完成的數據集進行知識抽取，包括實體抽取、關系抽取和屬性抽取。其中，實體識別與抽取需要識別出用戶、歌曲等實體，并確定其邊界和類型；關系抽取需要從文本或數據中抽取出兩個或多個實體之間的語義關系，如用戶-喜歡的歌曲、歌曲-所屬的流派等；屬性抽取通過給定的實體(如用戶或歌曲)，從非結構化文本中抽取出其屬性及其屬性值，形成結構化數據。
10、進一步的作為本專利技術的優選技術方案，所述步驟s2包括以下步驟：將抽取的實體(用戶u和歌曲v)映射為知識圖譜中的節點。每個節點代表一個唯一的實體，并包含該實體的唯一標識符和屬性p，用戶和歌曲的實體集合分別用u和v表示，歌曲的屬性集合用p表示。將抽取的實體、關系和屬性數據導入圖形數據庫中，并根據抽取的實體、關系和屬性，構建知識圖譜的節點和邊。然后，對構建的知識圖譜進行表示學習，以便將知識圖譜中的實體和關系映射成向量表示，捕捉實體和關系之間的語義和關聯性。本專利技術選擇基于向量空間的transe模型，并使用隨機梯度下降(stochastic?gradient?descent，sgd)優化算法，通過不斷迭代更新參數使得損失函數逐漸降低，它的特點是使用部分訓練樣本的梯度來更新模型參數，大大降低計算開銷，加速模型的收斂速度。sgd算法的更新規則如下：
11、
12、其中，θt為第t次迭代時的參數，η為學習率，j(θt；xi，yi)為損失函數，為在參數θt時的梯度，在每次迭代中，選擇一個訓練樣本并計算損失函數關于參數的梯度，再更新參數，這個過程不斷迭代，直至損失函數收斂或達到預設的迭代次數。
13、進一步的作為本專利技術的優選技術方案，所述步驟s3包括以下步驟：根據用戶的行為特點和需求，設計合理的提示模板。例如，設計一個關于用戶音樂偏好的提示模板，如“用戶x喜歡聽＜mask>類型的音樂”。模板中的＜mask>部分將用于后續的填充和預測。接著，將用戶的歷史行為數據轉化為適合提示學習的輸入格式。例如，可以將用戶的播放記錄和評價與評分轉化為一系列描述用戶音樂偏好的句子。將這些句子與提示模板相結合，生成完整的提示輸入。將生成的提示輸入送入預訓練的深度學習模型中。本專利技術選擇基于ernie3.0的fine-tuning方法來進行模型訓練，利用模型對＜mask>部分進行預測，生成用戶可能感興趣的音樂類型或具體歌曲。根據用戶歷史行為數據以及提示學習預測的用戶興趣偏好，使用協同過濾算法，構建用戶模型，其中包含用戶的音樂偏好、情感傾向等個性化特征。
14、進一步的作為本專利技術的優選技術方案，所述步驟s4包括以下步驟：利用用戶與音樂的實際歷史交互行為，加上提示學習得到的用戶音樂偏好，通過定義實體并建立關系來連接它們并給予相應的情感偏好標簽，構建用戶音樂偏好知識圖譜其由實體集ε和關系集組成，其定義為其中三元組(eh，r，et)表示頭部實體eh與尾部實體et之間存在偏好關系r。
15、進一步的作為本專利技術的優選技術方案，所述步驟s5包括以下步驟：通過設計一個強化學習策略，從每個用戶實體eu開始到推薦音樂的所有可能路徑，并且找到eu可能喜歡的音樂實體集合。由于實驗需要智能體在知識圖譜內導航，因此構建mdp環境，其強化學習相關設定如下：
16、狀態：t步驟時的狀態s定義為元組(u,et，ht)，u表示初始狀態用戶的實體嵌入向量，et表示t步驟時智能體到達的實體嵌入向量，ht表示在t步驟之前智能體訪問的所有實體和關系的集合。
17、實驗定義n次歷史交互記錄即過去n步中遍歷過的所有實體和關系的集合，
18、即{et-n，rt-n+1，…，et-1rt}。以用戶u為例，初始狀態當到達步驟t時，狀態為st＝(u，er，ht)。
19、動作空間：在狀態st時的動作空間at即為實體et，除已遍歷的所有相連實體和關系
20、獎勵：作為一個音樂推薦系統方法，優秀的推薦路徑是連接用戶與其可能感興趣的潛在音樂。為了實現這個目標，最終狀態st＝(u,et，ht)時的獎勵函數可表示為：
21、
22、智能體基于上述mdp環境學習相關的行動策略，記為π(·|st，at)，它輸本文檔來自技高網...
【技術保護點】
1.一種基于知識圖譜和強化學習的音樂推薦方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于知識圖譜和強化學習的音樂推薦方法，其特征在于，所述步驟S1包括以下步驟：從音樂數據集中提取用戶、歌曲的信息以及他們的交互記錄；對數據進行清洗和預處理，確保數據的準確性和一致性：去除重復數據、缺失關鍵字段的數據以及明顯錯誤的數據；對用戶信息進行去重和歸一化處理，確保每個用戶只有一個唯一標識；對歌曲信息進行標準化處理；接著對處理完成的數據集進行知識抽取，包括實體抽取、關系抽取和屬性抽??；其中，實體識別與抽取需要識別出用戶、歌曲實體，并確定其邊界和類型；關系抽取需要從文本或數據中抽取出兩個或多個實體之間的語義關系；屬性抽取通過給定的實體，從非結構化文本中抽取出其屬性及其屬性值，形成結構化數據。
3.根據權利要求2所述的基于知識圖譜和強化學習的音樂推薦方法，其特征在于，所述步驟S2包括以下步驟：將抽取的實體包括用戶u和歌曲v，映射為知識圖譜中的節點；每個節點代表一個唯一的實體，并包含該實體的唯一標識符和屬性p，用戶和歌曲的實體集合分別用U和V表示，歌曲的屬性集合用
4.根據權利要求3所述的基于知識圖譜和強化學習的音樂推薦方法，其特征在于，所述步驟S3包括以下步驟：根據用戶的行為特點和需求，設計合理的提示模板；設計一個關于用戶音樂偏好的提示模板：用戶X喜歡聽<mask>類型的音樂；模板中的<mask>部分將用于后續的填充和預測；接著，將用戶的歷史行為數據轉化為適合提示學習的輸入格式，將用戶的播放記錄和評價與評分轉化為一系列描述用戶音樂偏好的句子；將該句子與提示模板相結合，生成完整的提示輸入；將生成的提示輸入送入預訓練的深度學習模型中；選擇基于ERNIE3.0的Fine-tuning方法來進行模型訓練，利用模型對<mask>部分進行預測，生成用戶可能感興趣的音樂類型或具體歌曲；根據用戶歷史行為數據以及提示學習預測的用戶興趣偏好，使用協同過濾算法，構建用戶模型，其中包含用戶的音樂偏好、情感傾向等個性化特征。
5.根據權利要求4所述的基于知識圖譜和強化學習的音樂推薦方法，其特征在于，所述步驟S4包括以下步驟：利用用戶與音樂的實際歷史交互行為，加上提示學習得到的用戶音樂偏好，通過定義實體并建立關系來連接它們并給予相應的情感偏好標簽，構建用戶音樂偏好知識圖譜其由實體集ε和關系集組成,其定義為其中三元組(eh,r,et)表示頭部實體eh與尾部實體et之間存在偏好關系r。
6.根據權利要求5所述的基于知識圖譜和強化學習的音樂推薦方法，其特征在于，所述步驟S5包括以下步驟：
...【技術特征摘要】
1.一種基于知識圖譜和強化學習的音樂推薦方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于知識圖譜和強化學習的音樂推薦方法，其特征在于，所述步驟s1包括以下步驟：從音樂數據集中提取用戶、歌曲的信息以及他們的交互記錄；對數據進行清洗和預處理，確保數據的準確性和一致性：去除重復數據、缺失關鍵字段的數據以及明顯錯誤的數據；對用戶信息進行去重和歸一化處理，確保每個用戶只有一個唯一標識；對歌曲信息進行標準化處理；接著對處理完成的數據集進行知識抽取，包括實體抽取、關系抽取和屬性抽?。黄渲校瑢嶓w識別與抽取需要識別出用戶、歌曲實體，并確定其邊界和類型；關系抽取需要從文本或數據中抽取出兩個或多個實體之間的語義關系；屬性抽取通過給定的實體，從非結構化文本中抽取出其屬性及其屬性值，形成結構化數據。
3.根據權利要求2所述的基于知識圖譜和強化學習的音樂推薦方法，其特征在于，所述步驟s2包括以下步驟：將抽取的實體包括用戶u和歌曲v，映射為知識圖譜中的節點；每個節點代表一個唯一的實體，并包含該實體的唯一標識符和屬性p，用戶和歌曲的實體集合分別用u和v表示，歌曲的屬性集合用p表示；將抽取的實體、關系和屬性數據導入圖形數據庫中，并根據抽取的實體、關系和屬性，構建知識圖譜的節點和邊；然后，對構建的知識圖譜進行表示學習，以便將知識圖譜中的實體和關系映射成向量表示，捕捉實體和關系之間的語義和關聯性；選擇基于向量空間的transe模型，并使用隨機梯度下降sgd優化算法，通過不斷迭代更新參數使得損失函數逐漸降...
【專利技術屬性】
技術研發人員：趙輝，胡國偉，張鐸，王則林，程實，
申請(專利權)人：南通大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。