【技術實現步驟摘要】
本專利技術涉及音樂生成，尤其是涉及一種基于aigc的療愈音樂生成方法及系統。
技術介紹
1、近年來，隨著精神疾病發展蔓延形勢嚴峻，精神疾病療愈方法受到廣泛關注。音樂療愈作為一種重要的精神疾病療愈方法，旨在通過音樂調動患者情感，轉變患者心理狀態，減少藥物治療可能帶來的副作用，提高患者治療依從性。
2、公開號為cn116484043a的中國專利文件公開了一種音樂療愈方法及其系統，包括用于提供公共信息及收集數據的云平臺、與該云平臺信號連接的app、小程序或點歌設備，所述方法包括；獲取用戶所聽音樂數據；采集用戶使用麥克風的場景數據；收集用戶基本心理信息數據；根據所采集的音樂數據、場景數據及基本心理信息數據計算用戶的情感度，分別對用戶的精神狀態進行預處理，評估和分類，并生成評估日志；根據所述評估日志對用戶進行音樂療愈的歌曲推薦，并由用戶自主選擇相應的歌曲進行療愈。
3、公開號為cn117064402a的中國專利文件公開了一種識別音樂對于腦電波反饋的方法，通過構建腦電信號數據本體，分析不同情緒下腦電信號中的功率譜密度特征，實現情緒的實時識別以及音樂療愈。
4、然而，傳統的音樂療愈方法存在諸多局限性，例如參與音樂療愈的音頻類別單一，忽視了患者需求偏好的獨特性和多樣性；反饋機制不夠完善，無法根據患者療愈后的反饋，及時調整音樂療愈內容和元素，均限制了音樂療愈精神疾病的療愈效果。
技術實現思路
1、本專利技術提供了一種基于aigc的療愈音樂生成方法及系統，使生成的療
2、一種基于aigc的療愈音樂生成方法，包括以下步驟：
3、(1)獲取用戶對應的音樂偏好文本描述和指定音頻片段；
4、(2)對獲取的文本描述進行特征提取，獲得同時包含語義和情感信息的文本特征編碼，并基于音頻序列生成模型得到一個可解碼音頻格式序列；
5、(3)對獲取的音頻片段進行編碼處理，并基于自注意力機制得到另一個可解碼音頻格式序列；
6、(4)利用交叉注意力機制處理上述得到的兩個可解碼音頻格式序列并解碼，得到融合后的用于療愈的音頻片段；
7、(5)基于用戶反饋評價，微調訓練步驟(2)中的音頻序列生成模型，利用大語言模型更新步驟(1)中的文本描述，并重復上述步驟(1)～(4)，直到得到用戶滿意的音頻片段。
8、步驟(1)中，音樂偏好文本描述包含用戶輸入的音樂偏好關鍵詞、用戶從已有的音樂偏好關鍵詞中選擇的組合形式；
9、指定音頻片段包含用戶在接受音樂療愈期間主動表達創作的音樂片段、用戶從已有的音樂片段中選擇的音頻。
10、步驟(2)的具體過程為：
11、基于文本編碼模型處理文本，得到文本語義特征編碼；基于情感詞典處理文本，得到文本情感特征編碼；拼接文本語義特征編碼和文本情感特征編碼，獲得同時包含語義和情感信息的文本特征編碼；然后基于音頻序列生成模型，利用該文本特征編碼預測獲得可解碼音頻格式序列。
12、基于文本編碼模型處理文本，得到文本語義特征編碼的過程為：
13、利用bert模型首先對輸入文本進行預處理，針對每個單詞分別得到單詞特征向量、位置特征向量和區分特征向量，對這三個向量進行求和處理，獲得輸入向量，即編碼后的文本信息；
14、然后利用多層堆疊的編碼器結構同時關注每個詞向量與輸入序列中其他詞向量之間的關系，從整個序列中捕捉上下文信息；通過計算目標詞與句子中的所有詞匯的相關度，并對相關度歸一化，將相關度和所有詞的編碼進行加權求和獲取目標詞的文本語義特征編碼。
15、音頻序列生成模型采用殘差方式級聯多個矢量量化模塊，對文本特征編碼進行殘差矢量量化，并對各矢量量化模塊的輸出求和，獲得可解碼音頻格式序列；
16、其中，矢量量化模塊將連續的輸入向量與預先定義的碼本進行匹配，找到最接近的碼字，并替代原始輸入，有效地將大量連續數據轉化為較小的離散表示，實現連續向量離散化，獲得離散化序列數據；而殘差方式是將文本特征編碼在第一個矢量量化模塊的輸出與原始輸入做一次殘差計算，將結果作為第二個矢量量化模塊的輸入，并以此類推，從而提高重建精度，降低碼本大小需求。
17、步驟(3)的具體過程為：
18、基于音頻編碼器處理音頻，獲得音頻特征編碼；基于自注意力機制處理獲得的音頻特征編碼，動態處理不同時間尺度上的特征，包含音調、語速、情感變化，最終得到可解碼音頻格式序列。
19、步驟(4)的具體過程為：
20、利用交叉注意力機制處理兩個不同模態的可解碼音頻格式序列，允許一個模態的序列從另一個模態中提取信息，通過融合文本的語義、情感特征和音頻的音樂特征，獲得融合互補特征后的可解碼音頻格式序列，然后利用音頻解碼器處理上述融合后的可解碼音頻格式序列，重建得到用于療愈的音頻片段。
21、步驟(5)中，微調訓練步驟(2)中的音頻序列生成模型，具體為：
22、獲取患者接受音樂療愈后對該段音頻的評價，將生成音頻與評價分數作為元數據，建立反饋數據集，基于該數據集，采用lora微調方法對模型權重參數進行微調訓練。
23、步驟(5)中，利用大語言模型更新步驟(1)中的文本描述，具體為：
24、利用大語言模型分析用戶對當前模型生成音頻缺陷的直接反饋，并總結原始文本描述在當前任務上表現不佳的可能原因，輸出一系列反思結果；通過定義一個反思提示模板，用于引導大語言模型進行自我反思；
25、在獲得一系列反思結果后，利用大語言模型繼續分析針對上述結果的改進策略，并基于原始文本描述生成更適配的文本描述重新參與音頻生成。
26、一種基于aigc的療愈音樂生成系統，包括存儲器和一個或多個處理器，所述存儲器中存儲有可執行代碼，所述一個或多個處理器執行所述可執行代碼時，用于實現上述療愈音樂生成方法。
27、與現有技術相比，本專利技術具有以下有益效果：
28、本專利技術基于aigc的療愈音樂生成方法，將分別通過文字描述和音頻片段編碼、融合后得到的可解碼音頻格式序列指導模型完成療愈音樂片段解碼和生成，并借助反饋機制提高模型音頻生成適配度，提高對輕度精神疾病音樂療愈的治療效果。
本文檔來自技高網...【技術保護點】
1.一種基于AIGC的療愈音樂生成方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于AIGC的療愈音樂生成方法，其特征在于，步驟(1)中，音樂偏好文本描述包含用戶輸入的音樂偏好關鍵詞、用戶從已有的音樂偏好關鍵詞中選擇的組合形式；
3.根據權利要求1所述的基于AIGC的療愈音樂生成方法，其特征在于，步驟(2)的具體過程為：
4.根據權利要求3所述的基于AIGC的療愈音樂生成方法，其特征在于，基于文本編碼模型處理文本，得到文本語義特征編碼的過程為：
5.根據權利要求1所述的基于AIGC的療愈音樂生成方法，其特征在于，步驟(2)中，音頻序列生成模型采用殘差方式級聯多個矢量量化模塊，對文本特征編碼進行殘差矢量量化，并對各矢量量化模塊的輸出求和，獲得可解碼音頻格式序列；
6.根據權利要求1所述的基于AIGC的療愈音樂生成方法，其特征在于，步驟(3)的具體過程為：
7.根據權利要求1所述的基于AIGC的療愈音樂生成方法，其特征在于，步驟(4)的具體過程為：
8.根據權利要求1所述的基于AIGC的療
9.根據權利要求1所述的基于AIGC的療愈音樂生成方法，其特征在于，步驟(5)中，利用大語言模型更新步驟(1)中的文本描述，具體為：
10.一種基于AIGC的療愈音樂生成系統，其特征在于，包括存儲器和一個或多個處理器，所述存儲器中存儲有可執行代碼，所述一個或多個處理器執行所述可執行代碼時，用于實現權利要求1-9中任一項所述的療愈音樂生成方法。
...【技術特征摘要】
1.一種基于aigc的療愈音樂生成方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于aigc的療愈音樂生成方法，其特征在于，步驟(1)中，音樂偏好文本描述包含用戶輸入的音樂偏好關鍵詞、用戶從已有的音樂偏好關鍵詞中選擇的組合形式；
3.根據權利要求1所述的基于aigc的療愈音樂生成方法，其特征在于，步驟(2)的具體過程為：
4.根據權利要求3所述的基于aigc的療愈音樂生成方法，其特征在于，基于文本編碼模型處理文本，得到文本語義特征編碼的過程為：
5.根據權利要求1所述的基于aigc的療愈音樂生成方法，其特征在于，步驟(2)中，音頻序列生成模型采用殘差方式級聯多個矢量量化模塊，對文本特征編碼進行殘差矢量量化，并對各矢量量化模塊的輸出求和，獲得可解碼音頻格式序列；...
【專利技術屬性】
技術研發人員：李瑩，王肖琦，孫煦雪，鄧水光，尹建偉，李凱，俞定國，曾昊，
申請(專利權)人：浙江大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。