【技術實現(xiàn)步驟摘要】
本專利技術涉及數(shù)據(jù)處理，具體涉及一種基于aigc的內(nèi)容創(chuàng)作與多模態(tài)展示平臺。
技術介紹
1、隨著數(shù)字化信息的爆炸性增長，用戶對多樣化和個性化內(nèi)容創(chuàng)作方式提出了更高的需求。傳統(tǒng)方法依賴人工編輯和單一模態(tài)（如純文字或圖片）的內(nèi)容生成，內(nèi)容生成過程耗時費力，存在效率低且對專業(yè)經(jīng)驗依賴性較強的問題。
2、為了應對這些挑戰(zhàn)，近幾年來，研究人員和企業(yè)開始探索基于aigc(生成式人工智能)的內(nèi)容生成技術，通過機器學習和自然語言處理技術從海量數(shù)據(jù)中提取有用信息，并自動生成高質(zhì)量、多模態(tài)的內(nèi)容，以滿足用戶的多樣化需求。
3、然而，現(xiàn)有技術在意圖識別和個性化推薦方面仍然存在一些不足。尤其是在復雜意圖的理解上，現(xiàn)有系統(tǒng)往往依賴于固定的用戶輸入解析模式，難以靈活調(diào)整，從而導致系統(tǒng)的理解能力有限。并且，個性化內(nèi)容生成的準確度也受到計算資源的限制，龐大的檢索信息量增加了計算復雜度，導致系統(tǒng)在實時響應和生成個性化內(nèi)容時速度緩慢，從而影響推薦質(zhì)量和用戶體驗。
技術實現(xiàn)思路
1、本專利技術提供基于aigc的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，以解決上述
技術介紹
中提到的至少一個問題。
2、本申請?zhí)峁┑木唧w技術方案如下：
3、一種基于aigc的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，包括通信連接的交互管理模塊、用戶行為分析模塊和內(nèi)容創(chuàng)作模塊；
4、所述交互管理模塊用于根據(jù)當前輸入信息獲取標準指令詞向量和第一檢索增強數(shù)據(jù)集，根據(jù)標準指令詞向量和上下文信息生成標準意圖數(shù)據(jù)；
6、所述內(nèi)容創(chuàng)作模塊用于根據(jù)標準意圖數(shù)據(jù)、第一檢索增強數(shù)據(jù)集和第二檢索增強數(shù)據(jù)集生成多模態(tài)內(nèi)容數(shù)據(jù)及其對應的內(nèi)容描述詞向量；
7、所述交互管理模塊包括輸入處理模塊、上下文管理模塊和意圖識別模塊；所述輸入處理模塊用于將當前輸入信息處理為標準指令詞向量和第一檢索增強數(shù)據(jù)集；所述上下文管理模塊用于根據(jù)對話歷史指令詞向量和內(nèi)容描述詞向量生成上下文信息；所述意圖識別模塊用于根據(jù)標準指令詞向量和上下文信息生成標準意圖數(shù)據(jù)。
8、作為優(yōu)選方案，所述輸入處理模塊包括指令輸入模塊和檢索增強輸入模塊；所述指令輸入模塊用于根據(jù)當前輸入信息獲取原始操作指令，將原始操作指令處理為標準指令詞向量；所述檢索增強輸入模塊用于根據(jù)當前輸入信息獲取第一檢索增強數(shù)據(jù)集，構建第一檢索增強數(shù)據(jù)集對應的檢索關鍵詞并存儲。
9、作為優(yōu)選方案，所述原始操作指令為文字指令或語音指令；所述指令輸入模塊包括語音文字轉(zhuǎn)換模塊和第一詞向量提取模塊；所述語音文字轉(zhuǎn)換模塊用于在原始操作指令為語音指令時，通過模態(tài)轉(zhuǎn)換策略將語音指令轉(zhuǎn)化為文字指令；所述第一詞向量提取模塊用于通過詞向量提取策略處理文字指令得到原始操作指令的標準指令詞向量。
10、作為優(yōu)選方案，所述模態(tài)轉(zhuǎn)換策略，具體包括：
11、將語音指令分為若干音頻幀，對每一音頻幀進行預處理得到對應的頻譜數(shù)據(jù)；
12、將頻譜數(shù)據(jù)通過梅爾濾波器獲取梅爾頻譜數(shù)據(jù)，基于梅爾頻譜數(shù)據(jù)進行倒譜分析得到梅爾頻率倒譜系數(shù)，將梅爾頻率倒譜系數(shù)整合為當前音頻特征；
13、通過語音識別模型將當前音頻特征轉(zhuǎn)換為文字指令。
14、作為優(yōu)選方案，所述梅爾頻譜數(shù)據(jù)表示為：
15、，
16、，
17、其中，表示第m個梅爾頻譜數(shù)據(jù)，m為梅爾濾波器的編號；k表示頻率點的編號，n表示頻率點的總數(shù)；表示頻域信號第k個頻率點的功率譜；表示第m個梅爾濾波器在頻率點k位置的值；表示第m個梅爾濾波器在線性頻譜上的中心位置；
18、所述梅爾頻率倒譜系數(shù)表示為：
19、，
20、其中，m表示梅爾濾波器的數(shù)量；n表示梅爾頻率倒譜系數(shù)的編號；表示第n個梅爾頻率倒譜系數(shù)值。
21、作為優(yōu)選方案，所述詞向量提取策略，具體包括：
22、使用分詞算法處理文字指令得到若干指令詞片段；
23、將所述若干指令詞片段表示經(jīng)過預處理后輸入skip-gram模型，得到原始操作指令的標準指令詞向量。
24、作為優(yōu)選方案，所述根據(jù)標準指令詞向量和上下文信息生成標準意圖數(shù)據(jù)，包括步驟：
25、根據(jù)數(shù)據(jù)時間戳將標準指令詞向量和上下文信息整合為若干連續(xù)的詞向量序列和詞向量類型序列；所述詞向量序列由起始標識、終止標識和若干分詞id組成；
26、將所述詞向量序列和詞向量類型序列輸入若干層transformer，生成每個分詞id的上下文表示；從最后一層的transformer中提取起始標識作為詞向量序列的綜合特征；
27、將所述綜合特征通過全連接層和softmax層輸出概率最高的意圖識別結(jié)果作為標準意圖數(shù)據(jù)。
28、作為優(yōu)選方案，所述用戶行為分析模塊包括意圖數(shù)據(jù)管理模塊、畫像分析模塊和數(shù)據(jù)匹配模塊；所述意圖數(shù)據(jù)管理模塊用于存儲所述標準意圖數(shù)據(jù)，根據(jù)標準意圖數(shù)據(jù)生成用戶的歷史意圖數(shù)據(jù)；所述畫像分析模塊用于根據(jù)用戶的歷史內(nèi)容描述詞向量生成用戶偏好特征；所述數(shù)據(jù)匹配模塊用于存儲的檢索增強數(shù)據(jù)及其對應的特征索引，通過計算用戶偏好特征與特征索引的匹配度獲取第二檢索增強數(shù)據(jù)集。
29、作為優(yōu)選方案，所述畫像分析模塊存儲偏好詞向量集合，所述偏好詞向量集合存儲若干偏好詞向量；所述根據(jù)用戶的歷史內(nèi)容描述詞向量生成用戶偏好特征，具體為根據(jù)偏好詞向量集合和用戶的歷史內(nèi)容描述詞向量生成用戶偏好特征；所述用戶偏好特征存儲若干組偏好詞向量及其對應的頻次。
30、作為優(yōu)選方案，所述內(nèi)容創(chuàng)作模塊包括特征提取模塊、特征篩選模塊和內(nèi)容生成模塊；所述特征提取模塊用于獲取所述第一檢索增強數(shù)據(jù)集和第二檢索增強數(shù)據(jù)集的數(shù)據(jù)特征；所述特征篩選模塊用于去除所述第一檢索增強數(shù)據(jù)集和第二檢索增強數(shù)據(jù)集的數(shù)據(jù)特征中的與所述標準意圖數(shù)據(jù)不相關的部分，得到意圖相關特征集；所述內(nèi)容生成模塊通過transformer編碼器將所述標準意圖數(shù)據(jù)和意圖相關特征集編碼至同一向量空間，并通過集成的若干生成模型生成對應模態(tài)的內(nèi)容數(shù)據(jù)及其對應的內(nèi)容描述詞向量。
31、相比現(xiàn)有技術，本專利技術的有益效果在于：
32、本申請通過交互管理模塊根據(jù)當前輸入信息獲取標準指令詞向量，根據(jù)標準指令詞向量和上下文信息生成標準意圖數(shù)據(jù)，使得系統(tǒng)更容易理解不同的用戶指令，提高了用戶意圖解讀的準確性；用戶行為分析模塊通過根據(jù)用戶的歷史內(nèi)容描述詞向量，獲取符合用戶偏好的第二檢索增強數(shù)據(jù)集；內(nèi)容創(chuàng)作模塊通過根據(jù)標準意圖數(shù)據(jù)、當前輸入的第一檢索增強數(shù)據(jù)集和符合用戶偏好的第二檢索增強數(shù)據(jù)集生成多模態(tài)內(nèi)容數(shù)據(jù)及其對應的內(nèi)容描述詞向量。本申請?zhí)岣吡擞脩粢鈭D解讀的準確性，能夠針對個體用戶生成高度相關的多模態(tài)內(nèi)容數(shù)據(jù)，以提供個性化的內(nèi)容生成，并減少了內(nèi)容創(chuàng)作的計算負擔。
33、本申請通過transformer架構和自注意力機制捕捉詞匯之間的復雜依賴關本文檔來自技高網(wǎng)...
【技術保護點】
1.一種基于AIGC的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：包括通信連接的交互管理模塊、用戶行為分析模塊和內(nèi)容創(chuàng)作模塊；
2.根據(jù)權利要求1所述的基于AIGC的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：所述輸入處理模塊包括指令輸入模塊和檢索增強輸入模塊；所述指令輸入模塊用于根據(jù)當前輸入信息獲取原始操作指令，將原始操作指令處理為標準指令詞向量；所述檢索增強輸入模塊用于根據(jù)當前輸入信息獲取第一檢索增強數(shù)據(jù)集，構建第一檢索增強數(shù)據(jù)集對應的檢索關鍵詞并存儲。
3.根據(jù)權利要求2所述的基于AIGC的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：所述原始操作指令為文字指令或語音指令；所述指令輸入模塊包括語音文字轉(zhuǎn)換模塊和第一詞向量提取模塊；所述語音文字轉(zhuǎn)換模塊用于在原始操作指令為語音指令時，通過模態(tài)轉(zhuǎn)換策略將語音指令轉(zhuǎn)化為文字指令；所述第一詞向量提取模塊用于通過詞向量提取策略處理文字指令得到原始操作指令的標準指令詞向量。
4.根據(jù)權利要求3所述的基于AIGC的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：所述模態(tài)轉(zhuǎn)換策略，具體包括：
5.根據(jù)權利要求4所述的基于A
6.根據(jù)權利要求3所述的基于AIGC的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：所述詞向量提取策略，具體包括：
7.根據(jù)權利要求1所述的基于AIGC的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：所述根據(jù)標準指令詞向量和上下文信息生成標準意圖數(shù)據(jù)，包括步驟：
8.根據(jù)權利要求1所述的基于AIGC的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：所述用戶行為分析模塊包括意圖數(shù)據(jù)管理模塊、畫像分析模塊和數(shù)據(jù)匹配模塊；所述意圖數(shù)據(jù)管理模塊用于存儲所述標準意圖數(shù)據(jù)，根據(jù)標準意圖數(shù)據(jù)生成用戶的歷史意圖數(shù)據(jù)；所述畫像分析模塊用于根據(jù)用戶的歷史內(nèi)容描述詞向量生成用戶偏好特征；所述數(shù)據(jù)匹配模塊用于存儲的檢索增強數(shù)據(jù)及其對應的特征索引，通過計算用戶偏好特征與特征索引的匹配度獲取第二檢索增強數(shù)據(jù)集。
9.根據(jù)權利要求8所述的基于AIGC的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：所述畫像分析模塊存儲偏好詞向量集合，所述偏好詞向量集合存儲若干偏好詞向量；所述根據(jù)用戶的歷史內(nèi)容描述詞向量生成用戶偏好特征，具體為根據(jù)偏好詞向量集合和用戶的歷史內(nèi)容描述詞向量生成用戶偏好特征；所述用戶偏好特征存儲若干組偏好詞向量及其對應的頻次。
10.根據(jù)權利要求1所述的基于AIGC的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：所述內(nèi)容創(chuàng)作模塊包括特征提取模塊、特征篩選模塊和內(nèi)容生成模塊；所述特征提取模塊用于獲取所述第一檢索增強數(shù)據(jù)集和第二檢索增強數(shù)據(jù)集的數(shù)據(jù)特征；所述特征篩選模塊用于去除所述第一檢索增強數(shù)據(jù)集和第二檢索增強數(shù)據(jù)集的數(shù)據(jù)特征中的與所述標準意圖數(shù)據(jù)不相關的部分，得到意圖相關特征集；所述內(nèi)容生成模塊通過Transformer編碼器將所述標準意圖數(shù)據(jù)和意圖相關特征集編碼至同一向量空間，并通過集成的若干生成模型生成對應模態(tài)的內(nèi)容數(shù)據(jù)及其對應的內(nèi)容描述詞向量。
...【技術特征摘要】
1.一種基于aigc的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：包括通信連接的交互管理模塊、用戶行為分析模塊和內(nèi)容創(chuàng)作模塊；
2.根據(jù)權利要求1所述的基于aigc的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：所述輸入處理模塊包括指令輸入模塊和檢索增強輸入模塊；所述指令輸入模塊用于根據(jù)當前輸入信息獲取原始操作指令，將原始操作指令處理為標準指令詞向量；所述檢索增強輸入模塊用于根據(jù)當前輸入信息獲取第一檢索增強數(shù)據(jù)集，構建第一檢索增強數(shù)據(jù)集對應的檢索關鍵詞并存儲。
3.根據(jù)權利要求2所述的基于aigc的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：所述原始操作指令為文字指令或語音指令；所述指令輸入模塊包括語音文字轉(zhuǎn)換模塊和第一詞向量提取模塊；所述語音文字轉(zhuǎn)換模塊用于在原始操作指令為語音指令時，通過模態(tài)轉(zhuǎn)換策略將語音指令轉(zhuǎn)化為文字指令；所述第一詞向量提取模塊用于通過詞向量提取策略處理文字指令得到原始操作指令的標準指令詞向量。
4.根據(jù)權利要求3所述的基于aigc的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：所述模態(tài)轉(zhuǎn)換策略，具體包括：
5.根據(jù)權利要求4所述的基于aigc的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：所述梅爾頻譜數(shù)據(jù)表示為：
6.根據(jù)權利要求3所述的基于aigc的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：所述詞向量提取策略，具體包括：
7.根據(jù)權利要求1所述的基于aigc的內(nèi)容創(chuàng)作與多模態(tài)展示平臺，其特征在于：所述根據(jù)標準指令詞向量和上下文信息生成標準意圖...
【專利技術屬性】
技術研發(fā)人員：侯振林，陳瑤，張達標，
申請(專利權)人：寰越創(chuàng)新技術廣州有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。