【技術(shù)實現(xiàn)步驟摘要】
基于動態(tài)超圖網(wǎng)絡(luò)的多模態(tài)演化特征自動共形表示方法
本專利技術(shù)屬于大數(shù)據(jù)機器自動學習領(lǐng)域，具體涉及一種基于動態(tài)超圖網(wǎng)絡(luò)的多模態(tài)演化特征自動共形表示方法、系統(tǒng)、設(shè)備。
技術(shù)介紹
隨著互聯(lián)網(wǎng)、云計算和人工智能等信息技術(shù)與制造業(yè)、交通、城市管理、醫(yī)療等行業(yè)的交匯融合，方便了人與人、人與物之間交互，隨之而來文本、圖像、視頻和音頻等信息的迅速膨脹，同時伴隨著雷達、紅外、多媒體傳感器和基礎(chǔ)設(shè)施感知系統(tǒng)等萬物互聯(lián)物聯(lián)網(wǎng)，不斷融入社會計算系統(tǒng)，引發(fā)了數(shù)據(jù)迅猛增長，形成了多源異構(gòu)、速度快、難甄別的海量數(shù)據(jù)集合，并以多模態(tài)（如文字、語言、聲音、圖形等）形式普遍存在，正日益對各行各業(yè)的生產(chǎn)、流通、分配、消費活動以及自身運行機制產(chǎn)生重要影響。多模演化是大數(shù)據(jù)本質(zhì)特征，為了使機器學習像人類一樣認知多模態(tài)數(shù)據(jù)，必須賦予機器學習表征動態(tài)業(yè)務(wù)場景中多模態(tài)信息特征能力，方可幫助多模態(tài)深度學習方法快速準確從大數(shù)據(jù)中獲取有價值知識。現(xiàn)有多模態(tài)特征表示主要聚焦在三個方面：1.基于圖模型的多模態(tài)融合表示學習，該方法聚焦采用PCA方法抽取多個模態(tài)的數(shù)據(jù)源的特征，通過坐標軸轉(zhuǎn)換，尋找數(shù)據(jù)分布的最優(yōu)子空間，通過關(guān)聯(lián)度量統(tǒng)計學習方法，衡量多個特征與響應(yīng)變量之間的關(guān)系，從而構(gòu)建了多模態(tài)融合。2.基于深度學習的多模態(tài)特征表示學習，用張量法對大數(shù)據(jù)進行抽象建模，捕捉數(shù)據(jù)在高階張量空間的分布特征，利用最大信息系數(shù)，根據(jù)特征分布密度函數(shù)互斥或者互助分布，完成宏觀和微觀相結(jié)合超幾何描述和行為趨勢預(yù)測；3.基于自動機器學習的特征工程構(gòu)建方法，將原始多模態(tài)數(shù)據(jù)源轉(zhuǎn)變?yōu)槟Ｐ偷挠?span style='display:none'>練數(shù)據(jù)的過程自動化，解決了無需領(lǐng)域科學家根據(jù)經(jīng)驗找出最佳的特征組合形式，獲取更好的訓練數(shù)據(jù)特征，使得機器學習模型逼近這個上限。現(xiàn)有三類方法基于向量計算模型，從降維、去燥和消除異構(gòu)等角度，從文字、語言、聲音、圖形等多模態(tài)數(shù)據(jù)中，快速準確學習到特征張量，然后根據(jù)具體業(yè)務(wù)場景，完成單模態(tài)特征張量關(guān)聯(lián)組合，尋找出數(shù)據(jù)最優(yōu)特征張量概率分布。然而現(xiàn)有信息空間的數(shù)據(jù)基本都是由三維幾何、文本、音視頻圖像等數(shù)據(jù)伴隨著各種設(shè)備、網(wǎng)絡(luò)終端和業(yè)務(wù)系統(tǒng)運行過程而產(chǎn)生的多模態(tài)動態(tài)演化數(shù)據(jù)集，上述三類方法僅能解決多模態(tài)數(shù)據(jù)靜態(tài)特征表示，難以從動態(tài)演化表征的視角解決。
技術(shù)實現(xiàn)思路
為了解決現(xiàn)有技術(shù)中的上述問題，即為了解決現(xiàn)有多模態(tài)靜態(tài)特征表示，難以對多模態(tài)高階動態(tài)關(guān)聯(lián)進行表示的問題，本專利技術(shù)第一方面，提出了一種基于動態(tài)超圖網(wǎng)絡(luò)的多模態(tài)演化特征自動共形表示方法，該方法包括：S10，獲取m個模態(tài)的數(shù)據(jù)流訓練樣本，作為輸入數(shù)據(jù)流，所述輸入數(shù)據(jù)流包括各種文本、數(shù)值、圖片、視頻和富媒體組成的廣義多模態(tài)數(shù)據(jù)以及不同版本軟件系統(tǒng)為載體組成的狹義多模態(tài)數(shù)據(jù)；將每組數(shù)據(jù)流訓練樣本作為一組學習目標任務(wù)；S20，對所述輸入數(shù)據(jù)流中m個模態(tài)數(shù)據(jù)，采用多模態(tài)特征選擇計算求解，提取所述輸入數(shù)據(jù)流中m個模態(tài)特征向量的有限節(jié)點集合；S30，以所述的m個模態(tài)特征向量的有限節(jié)點集合作為超圖的頂點集合，通過超圖表示學習計算求解，生成m條超邊集合，并為每個超邊賦予權(quán)重和時間戳，生成m個模態(tài)超圖的拉普拉斯矩陣；S40，對所述m個模態(tài)的超圖拉普拉斯矩陣，進行m種模態(tài)的超圖間高階相關(guān)共形熵求解計算，生成n種主題網(wǎng)絡(luò)集合的多模態(tài)高階動態(tài)關(guān)聯(lián)形態(tài)對齊模型；S50，獲取新的輸入數(shù)據(jù)流，按照S20，生成新增的超圖頂點；通過基于超圖網(wǎng)絡(luò)的超邊卷積求解計算，對新增的超圖頂點與步驟S40獲取的所述n種主題網(wǎng)絡(luò)集合的多模態(tài)高階動態(tài)關(guān)聯(lián)形態(tài)對齊模型所覆蓋的節(jié)點進行增減對齊，進而實現(xiàn)主題網(wǎng)絡(luò)集合的自動更新。在一些優(yōu)選的實施方式中，步驟S20中“采用多模態(tài)特征選擇計算求解，提取所述輸入數(shù)據(jù)流中m個模態(tài)特征向量的有限集合”，其方法為：所述m個模態(tài)的數(shù)據(jù)流訓練樣本，其中表示第i個數(shù)據(jù)流訓練樣本的特征D維張量，本次輸入總共有N個樣本序列，那么通過多模態(tài)特征選擇方法，獲得有限訓練樣本系數(shù)矩陣，具體計算過程如下：其中，表示輸入數(shù)據(jù)流對應(yīng)的先驗向量，表示第i個模態(tài)的張量系數(shù)矩陣，將當前已獲得的所有多模態(tài)張量系數(shù)矩陣存放在；對多模態(tài)特征選擇計算的目標函數(shù)進行范數(shù)正則化泛化計算，獲得多模態(tài)轉(zhuǎn)秩，形成m個模態(tài)特征向量的有限節(jié)點集合。在一些優(yōu)選的實施方式中，步驟S30中“以所述的m個模態(tài)特征向量的有限節(jié)點集合作為超圖的頂點集合，通過動態(tài)超圖表示學習計算求解，生成m條超邊集合，并為每個超邊賦予權(quán)重和時間戳，生成m個模態(tài)超圖的拉普拉斯矩陣”，其方法為：在所述m個模態(tài)特征向量的有限集合中，采用k-means聚類算法，任意選擇一個特征頂點作為中心節(jié)點，不斷計算中心節(jié)點與其他節(jié)點，進行歐式距離計算，最后把中心節(jié)點與距它鄰接的m-1其他頂點，即歐式距離最近的m-1其他節(jié)點，連接起來，且，，構(gòu)造出N條超邊，每個超邊賦予權(quán)重和時間戳，定義超圖關(guān)聯(lián)矩陣：其中，表示節(jié)點到中心節(jié)點的距離，表示當前對應(yīng)的各頂點間的歐式距離。根據(jù)超圖的頂點度對角矩陣，生成超圖拉普拉斯半角矩陣生成，其中，為超圖的頂點度矩陣，為超圖的超邊的度矩陣，H為超圖的關(guān)聯(lián)矩陣，W為超圖超邊權(quán)重的系統(tǒng)矩陣。在一些優(yōu)選的實施方式中，步驟S40中“對所述m個模態(tài)的超圖拉普拉斯矩陣，進行m種模態(tài)的超圖間高階相關(guān)共形熵求解計算”，其方法為：其中，表示m種模態(tài)的超圖間高階相關(guān)共形熵函數(shù)，為曲面模態(tài)聯(lián)合分布熵，用于表示超圖之間各超邊的共形概率，表示第個模態(tài)特征的超圖，表示個模態(tài)特征矩陣的聯(lián)合概率分布。在一些優(yōu)選的實施方式中，“生成n種主題網(wǎng)絡(luò)集合的多模態(tài)高階動態(tài)關(guān)聯(lián)形態(tài)對齊模型”，其方法為：求解第一共形熵和第二共形熵；所述第一共形熵為m種模態(tài)的超圖共形熵；所述第二共形熵為m=2時共形熵；如果第一共形熵大于第二共形熵，則將不同模態(tài)的超圖合并為一個主題；如果第一共形熵小于第二共形熵，則該超圖獨立成一個主題；通過不斷多次迭代計算，完成了n種主題網(wǎng)絡(luò)集合生成任務(wù)，從而生成n種主題網(wǎng)絡(luò)集合的多模態(tài)高階動態(tài)關(guān)聯(lián)形態(tài)對齊模型。在一些優(yōu)選的實施方式中，步驟S50中“通過基于超圖網(wǎng)絡(luò)的超邊卷積求解計算，對新增的超圖頂點與步驟S40獲取的所述n種主題網(wǎng)絡(luò)集合的多模態(tài)高階動態(tài)關(guān)聯(lián)形態(tài)對齊模型所覆蓋的節(jié)點進行增減對齊，進而實現(xiàn)主題網(wǎng)絡(luò)集合的自動更新”，其方法為：對所述新增的輸入數(shù)據(jù)流，如果通過S20獲得新增的孤立節(jié)點，則在n種主題網(wǎng)絡(luò)的集合空間中，計算孤立節(jié)點與步驟S40獲取的所述n種主題網(wǎng)絡(luò)集合的多模態(tài)高階動態(tài)關(guān)聯(lián)形態(tài)對齊模型所覆蓋的節(jié)點的互補熵，并將孤立節(jié)點合并到與其互補熵小于設(shè)定閾值的節(jié)點對應(yīng)的超邊；如果從新增的數(shù)據(jù)流訓練樣本獲得新增頂點和一條新超邊，則對新增的超圖頂點跟已有超圖頂點，按照步驟S30進行超圖節(jié)點卷積計算，完成進行超圖頂點的增減處理；對新增超邊與已有超邊，按照步驟S40進行本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于動態(tài)超圖網(wǎng)絡(luò)的多模態(tài)演化特征自動共形表示方法，其特征在于，所述方法包括：/nS10，獲取m個模態(tài)的數(shù)據(jù)流訓練樣本，作為輸入數(shù)據(jù)流；所述輸入數(shù)據(jù)流包括各種文本、數(shù)值、圖片、視頻和富媒體組成的廣義多模態(tài)數(shù)據(jù)以及不同版本軟件系統(tǒng)為載體組成的狹義多模態(tài)數(shù)據(jù)；將每組數(shù)據(jù)流訓練樣本作為一組學習目標任務(wù)；/nS20，對所述輸入數(shù)據(jù)流中m個模態(tài)數(shù)據(jù)，采用多模態(tài)特征選擇計算求解，提取所述輸入
數(shù)據(jù)流中m個模態(tài)特征向量的有限節(jié)點集合
【技術(shù)特征摘要】
1.一種基于動態(tài)超圖網(wǎng)絡(luò)的多模態(tài)演化特征自動共形表示方法，其特征在于，所述方法包括：
S10，獲取m個模態(tài)的數(shù)據(jù)流訓練樣本，作為輸入數(shù)據(jù)流；所述輸入數(shù)據(jù)流包括各種文本、數(shù)值、圖片、視頻和富媒體組成的廣義多模態(tài)數(shù)據(jù)以及不同版本軟件系統(tǒng)為載體組成的狹義多模態(tài)數(shù)據(jù)；將每組數(shù)據(jù)流訓練樣本作為一組學習目標任務(wù)；
S20，對所述輸入數(shù)據(jù)流中m個模態(tài)數(shù)據(jù)，采用多模態(tài)特征選擇計算求解，提取所述輸入
數(shù)據(jù)流中m個模態(tài)特征向量的有限節(jié)點集合；
S30，以所述的m個模態(tài)特征向量的有限節(jié)點集合作為超圖的頂點集合，通過超圖表示
學習計算求解，生成m條超邊集合，并為每個超邊賦予權(quán)重和時間
戳，生成m個模態(tài)超圖的拉普拉斯矩陣；
S40，對所述m個模態(tài)的超圖拉普拉斯矩陣，進行m種模態(tài)的超圖間高階相關(guān)共形熵求解計算，生成n種主題網(wǎng)絡(luò)集合的多模態(tài)高階動態(tài)關(guān)聯(lián)形態(tài)對齊模型；
S50，獲取新的輸入數(shù)據(jù)流，按照S20，生成新增的超圖頂點；通過基于超圖網(wǎng)絡(luò)的超邊卷積求解計算，對新增的超圖頂點與步驟S40獲取的所述n種主題網(wǎng)絡(luò)集合的多模態(tài)高階動態(tài)關(guān)聯(lián)形態(tài)對齊模型所覆蓋的節(jié)點進行增減對齊，進而實現(xiàn)主題網(wǎng)絡(luò)集合的自動更新。
2.根據(jù)權(quán)利要求1所述的基于動態(tài)超圖網(wǎng)絡(luò)的多模態(tài)演化特征自動共形表示方法，其特征在于，步驟S20中“采用多模態(tài)特征選擇計算求解，提取所述輸入數(shù)據(jù)流中m個模態(tài)特征向量的有限集合”，其方法為：
所述m個模態(tài)的數(shù)據(jù)流訓練樣本，其中表
示第i個數(shù)據(jù)流訓練樣本的特征D維張量，N表示本次輸入總共有N個樣本序列，多模態(tài)特征
選擇計算的目標函數(shù)為：
其中，表示輸入數(shù)據(jù)流對應(yīng)的先驗向量，表示第i個模態(tài)的張量系數(shù)矩陣，將當前
已獲得的所有多模態(tài)張量系數(shù)矩陣存放在；
對多模態(tài)特征選擇計算的目標函數(shù)進行范數(shù)正則化泛化計算，獲得多模態(tài)轉(zhuǎn)秩，形成m個模態(tài)特征向量的有限節(jié)點集合。
3.根據(jù)權(quán)利要求2所述的基于動態(tài)超圖網(wǎng)絡(luò)的多模態(tài)演化特征自動共形表示方法，其
特征在于，步驟S30中“以所述的m個模態(tài)特征向量的有限節(jié)點集合作為超圖的頂點集合，
通過動態(tài)超圖表示學習計算求解，生成m條超邊集合，并為每個超邊賦予權(quán)重和時間戳
，生成m個模態(tài)超圖的拉普拉斯矩陣”，其方法為：
在m個模態(tài)特征向量的有限集合中，采用k-means聚
類算法，任意選擇一個特征頂點作為中心節(jié)點，不斷計算中心節(jié)點與其他節(jié)點的歐式距離，最后把中心節(jié)點與距它鄰接的m-1其他頂點連接起來，構(gòu)造
出N條超邊，每個超邊賦予權(quán)重和時間戳，并定義超圖關(guān)聯(lián)矩陣：
其中，表示節(jié)點到中心節(jié)點的距離，表示當前對應(yīng)的各頂
點間的歐式距離；
基于超圖的頂點度對角矩陣，生成超圖的拉普拉斯半角矩陣，其中，為超圖的頂點度矩陣，為超圖的超邊的
度矩陣，H為超圖的關(guān)聯(lián)矩陣，W為超圖超邊權(quán)重的系統(tǒng)矩陣。
4.根據(jù)權(quán)利要求3所述的基于動態(tài)超圖網(wǎng)絡(luò)的多模態(tài)演化特征自動共形表示方法，其特征在于，步驟S40中“對所述m個模態(tài)的超圖拉普拉斯矩陣，進行m種模態(tài)的超圖間高階相關(guān)共形熵求解計算”，其方法為：
其中，表示m種模態(tài)的超圖間高階相關(guān)共形熵函數(shù)，為曲面模態(tài)聯(lián)合分布熵，用于表示超圖之間各超邊的共形概率，表示第個模態(tài)特征的超圖，表示個模態(tài)特征矩陣的聯(lián)合
概率分布。
5.根據(jù)權(quán)利要求1...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王軍平，林建鑫，苑瑞文，施金彤，唐永強，
申請(專利權(quán))人：中國科學院自動化研究所，
類型：發(fā)明
國別省市：北京;11
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。