【技術實現步驟摘要】
本申請涉及數據融合領域，特別涉及一種基于寬窄帶通信的多源信息融合方法。
技術介紹
1、隨著物聯網、移動互聯網、社交網絡等新一代信息技術的飛速發展，文本、圖像、音視頻等多源異構數據呈爆炸式增長。這些來自不同渠道、格式和模態的多源信息，蘊含了豐富的語義信息，如何有效融合這些異構數據，形成對目標事件或對象的精準理解和全景式感知，成為大數據時代亟需解決的關鍵問題。多源信息融合技術在智慧城市、自動駕駛、智能安防、輿情分析等眾多領域有廣泛應用前景。
2、然而，由于多源數據的格式、模態、語義表示差異巨大，數據質量參差不齊，不同來源數據的可信度、重要性和時效性要求不一，給多源信息融合帶來了極大挑戰。傳統的多源融合方法，如加權平均、決策樹、支持向量機等，主要是從淺層特征或決策層面進行融合，難以挖掘深層語義信息，融合精度不高。
技術實現思路
1、針對現有技術中存在的多源信息融合精度低的問題，本申請提供了一種基于寬窄帶通信的多源信息融合方法，通過自適應劃分優先級和動態分配信道，以及bayes稀疏表示與重構等，提高了多源信息融合精度。
2、本申請的目的通過以下技術方案實現。
3、本申請提供一種基于寬窄帶通信的多源信息融合方法，包括：對獲取的多源異構數據進行預處理；多源異構數據包含文本數據和圖像數據；利用預訓練的bert網絡提取預處理后的文本數據的文本特征向量，利用預訓練的卷積神經網絡resnet提取預處理后的圖像數據的圖像特征向量；利用預訓練的雙向門控循環網絡bigru
4、進一步的，利用預訓練的bert網絡提取預處理后的文本數據的文本特征向量，利用預訓練的卷積神經網絡resnet提取預處理后的圖像數據的圖像特征向量，包括：將預處理后的文本數據輸入預訓練的bert網絡，通過bert網絡中的自注意力機制，計算文本數據中各個詞之間的相似度，提取文本數據的語義特征；通過bert網絡中的前饋神經網絡，對文本數據進行特征變換，提取文本數據的上下文特征；其中，上下文特征反映文本數據的上下文關聯關系；利用bert網絡中的門控機制對提取的語義特征和上下文特征進行融合，得到融合后的文本特征向量；將預處理后的圖像數據輸入預訓練的卷積神經網絡resnet，通過resnet中的卷積層提取圖像數據的局部特征；其中，局部特征反映圖像數據的紋理和邊緣信息；利用注意力機制，通過計算局部特征之間的相似度，對局部特征進行加權融合，得到反映圖像數據整體語義信息的全局特征；通過殘差連接，將局部特征和全局特征進行逐元素相加，得到圖像特征向量。
5、其中，局部特征是指卷積神經網絡resnet中卷積層提取的圖像數據的局部描述符。通過卷積操作，卷積層可以提取圖像數據中的局部紋理、邊緣、形狀等細節信息。這些局部特征反映了圖像數據在不同區域、不同尺度下的局部模式和結構特征。在resnet中，每個卷積層通過滑動窗口的方式，對輸入圖像進行局部感受野的掃描，并使用卷積核對局部區域進行特征提取。卷積核中的參數通過訓練學習得到，能夠捕捉圖像中的局部模式。通過逐層疊加多個卷積層，resnet可以提取出圖像數據中的層次化局部特征，從低級的邊緣、紋理到高級的局部結構和部件。全局特征是指卷積神經網絡resnet中，通過對局部特征進行加權融合得到的反映圖像數據整體語義信息的特征表示。全局特征包含了圖像數據的高層次語義概念和內容信息，具有更強的抽象和泛化能力。通過注意力機制對局部特征進行加權融合，得到全局特征。注意力機制通過計算局部特征之間的相似度，賦予不同局部特征不同的權重，突出對整體語義理解更重要的局部特征，抑制冗余或噪聲特征。這種加權融合過程可以自適應地提取圖像數據中的關鍵信息，形成對整體內容的高層次表示。
6、進一步的，利用預訓練的雙向門控循環網絡bigru分別獲取文本特征向量的優先級和圖像特征向量的優先級，包括：將文本特征向量輸入預訓練的門控循環網絡gru，門控循環網絡gru包含更新門、重置門和輸出門；更新門通過sigmoid函數計算上一時刻gru輸出的隱藏狀態和當前時刻文本特征向量的加權和，控制上一時刻隱藏狀態對當前時刻的傳遞程度；重置門通過sigmoid函數計算上一時刻gru輸出的隱藏狀態和當前時刻文本特征向量的加權和，控制上一時刻隱藏狀態對當前時刻的影響程度；gru根據更新門和重置門的輸出，更新隱藏狀態，得到當前時刻的隱藏狀態；利用多頭注意力機制，將文本特征向量劃分為多個子特征，分別計算子特征與當前時刻隱藏狀態之間的注意力權重，對當前時刻隱藏狀態進行加權融合，得到文本特征向量的多頭注意力向量；通過輸出門，將文本特征向量的多頭注意力向量與當前時刻隱藏狀態進行拼接，并通過全連接層映射到低維空間，得到文本特征向量的優先級向量；將圖像特征向量輸入預訓練的門控循環網絡gru，重復執行，得到圖像特征向量的優先級向量；分別計算文本特征向量的優先級向量和圖像特征向量的優先級向量的l2范數，作為相應的優先級和。
7、其中，更新門是gru中控制上一時刻隱藏狀態對當前時刻的傳遞程度的門結構。它通過sigmoid函數計算上一時刻gru輸出的隱藏狀態和當前時刻文本特征向量的加權和，得到一個0到1之間的標量值。重置門是gru中控制上一時刻隱藏狀態對當前時刻的影響程度的門結構。它通過sigmoid函數計算上一時刻gru輸出的隱藏狀態和當前時刻文本特征向量的加權和，得到一個0到1之間的標量值。輸出門是gru中用于生成當前時刻輸出的門結構。它通過將文本特征向量的多頭注意力向量與當前時刻隱藏狀態進行拼接，并通過全連接層映射到低維空間，得到文本特征向量的優先級向量。低維空間是指通過全連接層將高維度的特征向量映射到相對較低維度的表示空間。在本申請中，文本特征向量的多頭注意力向量與當前時刻隱藏狀態拼接后，通過全連接層映射到低維空間，得到文本特征向量的優先級向量。將高維特征映射到低維空間的目的是降低特征表示的冗余性，提取最關鍵和有區分性的信息。低維空間中的特征向量更加緊湊和高效，同時保留了原始特征的主要信息。通過降維映射，可以減少后續處理的計算復雜度，提高模型的泛化能力和魯棒性。
8、進一步的，自適應設置文本優先級閾值和圖像優先級閾值，包括：利用提取的文本特征向量和圖像特征向量，通過如下計算當前文本數據和圖像數據的信息熵和：，，其中，為文本特征向量，為圖像特征向量本文檔來自技高網...
【技術保護點】
1.一種基于寬窄帶通信的多源信息融合方法，其特征在于，包括：
2.根據權利要求1所述的基于寬窄帶通信的多源信息融合方法，其特征在于：
3.根據權利要求1所述的基于寬窄帶通信的多源信息融合方法，其特征在于：
4.根據權利要求1所述的基于寬窄帶通信的多源信息融合方法，其特征在于：
5.根據權利要求4所述的基于寬窄帶通信的多源信息融合方法，其特征在于：
6.根據權利要求1所述的基于寬窄帶通信的多源信息融合方法，其特征在于：
7.根據權利要求6所述的基于寬窄帶通信的多源信息融合方法，其特征在于：
8.根據權利要求7所述的基于寬窄帶通信的多源信息融合方法，其特征在于：
9.根據權利要求1所述的基于寬窄帶通信的多源信息融合方法，其特征在于：
10.根據權利要求9所述的基于寬窄帶通信的多源信息融合方法，其特征在于：
【技術特征摘要】
1.一種基于寬窄帶通信的多源信息融合方法，其特征在于，包括：
2.根據權利要求1所述的基于寬窄帶通信的多源信息融合方法，其特征在于：
3.根據權利要求1所述的基于寬窄帶通信的多源信息融合方法，其特征在于：
4.根據權利要求1所述的基于寬窄帶通信的多源信息融合方法，其特征在于：
5.根據權利要求4所述的基于寬窄帶通信的多源信息融合方法，其特征在于：
...
【專利技術屬性】
技術研發人員：肖忠華，
申請(專利權)人：上海棋語智能科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。