【技術實現步驟摘要】
本專利技術涉及多模態數據處理，具體地說是一種基于ai訓練平臺的多模態數據增強方法和系統。
技術介紹
1、隨著人工智能技術的飛速發展，ai訓練平臺在各個行業的應用越來越廣泛。從傳統的單一模態處理（如圖像處理、文本處理等）逐漸發展到更復雜的多模態數據融合和處理。這些平臺的主要功能是提供一整套工具鏈，用于訓練、測試和部署深度學習模型，并集成了數據處理、算法開發、模型訓練和推理等功能。
2、然而，隨著ai模型的規模越來越大，應用場景越來越復雜，傳統的ai研發平臺也面臨一些挑戰：在多模態處理場景下，ai模型需要合適的數據處理策略實現ai模型對多模態數據的特征深度挖掘，對多模態場景下的模式進行學習。如何實現多模態數據融合通過結合來自不同模態的數據（例如圖像、文本、傳感器數據等），彌補單一模態數據的局限性，提升模型的泛化能力和數據處理效率是目前需要解決的問題。并且，現有ai訓練平臺在面對多模態數據處理任務時，普遍存在用戶手動修改情況較多，平臺訓練自動化程度較低的問題。
技術實現思路
1、本專利技術的技術任務是針對以上不足之處，提供一種基于ai訓練平臺的多模態數據增強方法和系統，解決現有技術中因單一模態數據導致模型學習偏向性的問題，提高了模型的泛化能力和數據處理效率，提升了ai訓練平臺的自動化程度。
2、本專利技術解決其技術問題所采用的技術方案是：
3、一種基于ai訓練平臺的多模態數據增強方法，該方法的實現包括：
4、首先，在ai訓練平臺上開發多模態
5、然后，采用數據增強管道自動生成高質量的合成數據；
6、最后，開發多模態深度學習管道，以充分學習和理解不同模態數據的深層次特征。
7、進一步的，所述多模態數據融合管道，用于處理不同模態的數據源，并根據實際應用場景對數據進行同步、對齊和融合；
8、多模態數據融合管道包含以下步驟：
9、（1）數據標準化：對從不同數據源中采集的多模態數據（圖像、文本、傳感器數據、語音）進行標準化處理；
10、（2）時序同步與對齊：對于時間序列數據（傳感器數據）與非時間序列數據（圖像、文本）進行同步對齊，確保多模態數據在同一時間段內有效融合；
11、（3）數據特征提取：多模態特征提取模型包括卷積神經網絡（cnn），循環神經網絡（rnn）和transformer。
12、進一步的，對從不同數據源中采集的多模態數據進行標準化處理，包括：
13、對圖像數據：進行縮放和歸一化，支持兩種歸一化方式：第一是將圖像像素值從0-255的范圍調整為0-1；第二是按特定均值和標準差進行歸一化，使用?imagenet數據集的標準化值：均值[0.485,0.456,0.406]，標準差[0.229,?0.224,?0.225]；
14、對文本數據：進行分詞和編碼，使用自然語言處理工具庫（spacy、nltk）進行分詞，使用?bert、word2vec?等模型將分詞后的文本轉換為詞嵌入向量；
15、對時間序列數據：進行插值、對齊處理，保證所有數據能夠在同一時間軸或同一維度下進行分析；
16、所述時序同步與對齊，具體實現如下：
17、將整個時間序列切片成多個時間段，每個時間段包含多個模態的數據，可以通過插值填補缺失的時刻點；
18、所述數據特征提取，具體包括：
19、圖像數據特征提取：使用預訓練的卷積神經網絡（cnn）resnet模型從圖像中提取高級特征；預訓練模型已經在大型圖像數據集上訓練，可以直接應用于特征提取；在最后的卷積層后，使用全局平均池化，將特征圖轉換為固定長度的特征向量，進一步用于多模態融合；
20、文本數據特征提取：使用預訓練的語言模型transformer對文本數據進行編碼，提取文本的語義特征向量；通過預訓練和微調，使得模型能夠理解文本的語義和結構；然后，將每個分詞后的單詞或子詞轉換為固定長度的向量，輸出的特征向量可表示文本中的上下文關系和語義信息；
21、傳感器數據特征提取：使用循環神經網絡rnn提取傳感器數據中的時間序列特征；對于時序數據，循環神經網絡rnn能夠捕捉時間依賴關系，適用于時間序列數據的特征提取。
22、進一步的，所述數據增強管道，通過生成對抗網絡（gans）生成模型，利用現有的多模態數據生成新的樣本：
23、訓練gan模型，采用現有的多模態數據作為輸入；生成器生成新的樣本，而判別器評估生成樣本的真實性；通過不斷迭代訓練，生成器能夠學習到真實數據的分布，生成與真實樣本相似的新樣本；例如，可以生成新的圖像、文本或時間序列，以擴充數據集；生成的樣本將作為額外的訓練數據輸入到模型中，以提高模型的泛化能力。
24、進一步的，為了優化gans的生成效果，定期更新生成模型的參數，利用新收集到的多模態數據進行再訓練，以提高生成樣本的多樣性和質量；通過持續的反饋機制，不斷優化特征提取與數據增強的效果。
25、進一步的，所述多模態深度學習管道，包括特征級融合策略和決策級融合策略；
26、所述特征級融合策略是先對各個模態的數據進行特征提取，將不同模態的特征在某種空間或維度上進行對齊，之后再將它們輸入到一個聯合模型中；特征級融合的優點是能夠保留各模態的詳細信息，并且在深度學習中可以通過共享網絡結構來提取模態間的相關性；因此，本方法集成特征級融合；
27、所述決策級融合策略是在每個模態的數據分別進行處理后，再將各自的輸出結果進行綜合決策；因此，本方法集成決策級融合策略。
28、進一步的，所述所述特征級融合策略，包括：
29、特征對齊：基于全連接神經網絡創建共享的潛在空間，使不同模態的特征能夠在同一空間內進行對齊；通過損失函數（最小化重建誤差）來優化對齊效果，確保模態間的相關性最大化；并且，在對齊過程中，引入正則化技術（l2正則化）以防止過擬合；
30、深度融合模型：設計多模態聯合模型，多模態transformer，將該深度融合模型作為內置模型嵌入到ai訓練平臺中，同時支持用戶自定義模型；將對齊后的特征作為輸入進行進一步處理；多模態聯合模型具體網絡架構如下：
31、多模態transformer輸入層接收對齊后的特征向量，經過多個全連接層進行非線性變換，最終輸出預測結果；為了保留原始特征信息，不同層之間引入跳躍連接，提升模型的學習能力；通過自注意力層實現模型聚焦于不同模態中特征的重要部分，使得模型能夠自適應地調整各模態特征的權重；
32、所述決策級融合策略，包括：
33、獨立模型訓練：為每種模態設計獨立的模型：圖像使用cnn，文本使用bert，其他數據使用l本文檔來自技高網...
【技術保護點】
1.一種基于AI訓練平臺的多模態數據增強方法，其特征在于，該方法的實現包括：
2.根據權利要求1所述的一種基于AI訓練平臺的多模態數據增強方法，其特征在于，所述多模態數據融合管道，用于處理不同模態的數據源，并根據實際應用場景對數據進行同步、對齊和融合；
3.根據權利要求2所述的一種基于AI訓練平臺的多模態數據增強方法，其特征在于，對從不同數據源中采集的多模態數據進行標準化處理，包括：
4.根據權利要求1所述的一種基于AI訓練平臺的多模態數據增強方法，其特征在于，所述數據增強管道，通過生成對抗網絡生成模型，利用現有的多模態數據生成新的樣本：
5.根據權利要求4所述的一種基于AI訓練平臺的多模態數據增強方法，其特征在于，定期更新生成模型的參數，利用新收集到的多模態數據進行再訓練，以提高生成樣本的多樣性和質量；通過持續的反饋機制，不斷優化特征提取與數據增強的效果。
6.根據權利要求1所述的一種基于AI訓練平臺的多模態數據增強方法，其特征在于，所述多模態深度學習管道，包括特征級融合策略和決策級融合策略；
7.根據權利
8.一種基于AI訓練平臺的多模態數據增強系統，其特征在于，包括：
9.一種基于AI訓練平臺的多模態數據增強裝置，其特征在于，包括：至少一個存儲器和至少一個處理器；
10.一種計算機可讀介質，其特征在于，所述計算機可讀介質上存儲有計算機指令，所述計算機指令在被處理器執行時，實現權利要求1至7任一所述的方法。
...【技術特征摘要】
1.一種基于ai訓練平臺的多模態數據增強方法，其特征在于，該方法的實現包括：
2.根據權利要求1所述的一種基于ai訓練平臺的多模態數據增強方法，其特征在于，所述多模態數據融合管道，用于處理不同模態的數據源，并根據實際應用場景對數據進行同步、對齊和融合；
3.根據權利要求2所述的一種基于ai訓練平臺的多模態數據增強方法，其特征在于，對從不同數據源中采集的多模態數據進行標準化處理，包括：
4.根據權利要求1所述的一種基于ai訓練平臺的多模態數據增強方法，其特征在于，所述數據增強管道，通過生成對抗網絡生成模型，利用現有的多模態數據生成新的樣本：
5.根據權利要求4所述的一種基于ai訓練平臺的多模態數據增強方法，其特征在于，定期更新生成模型的參數，利用新收集到的多模態...
【專利技術屬性】
技術研發人員：張晨，魏子重，
申請(專利權)人：山東浪潮科學研究院有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。