【技術實現步驟摘要】
本專利技術涉及數據提取，具體涉及一種基于多模態特征的圖紙數據提取方法。
技術介紹
1、在當前的數據驅動環境中，多模態圖紙數據如圖像、文本等廣泛存在。為了提高圖紙數據轉化為結構化存儲數據，常需對多模態圖紙數據進行數據提取，以便于對圖紙中的尺寸及圖標數據進行轉化存儲等操作。由于每個模態的數據具有獨特的特征和結構，傳統的圖紙數據提取方法在處理這些多源信息時存在一定困難，較難滿足實際使用需求。
技術實現思路
1、本專利技術的目的在于提供一種基于多模態特征的圖紙數據提取方法，該方法能夠綜合考慮來自不同模態的信息，適用于處理各種多模態數據，可有效提高數據提取效率，使用效果較好。
2、為實現上述目的，本專利技術采用以下技術方案：
3、一種基于多模態特征的圖紙數據提取方法，包括以下步驟：
4、s1、多模態數據輸入及預處理：接收多模態數據，并對多模態數據進行預處理；
5、s2、多模態特征提取：針對每個模態的數據，進行特征提取，分別生成各個模態的256維度的特征向量；
6、步驟s2的具體過程為：
7、s21、針對圖像數據采用圖像特征生成器提取圖像特征，輸入數據為1920*1080分辨率的彩色高清rgb圖像，輸入到圖像特征生成器，輸出為256維度的圖像特征向量；一個圖像為一個模態，r個圖像則輸入到r個圖像特征生成器，生成r個256維度的圖像特征向量；
8、s22、針對文本數據，截取固定長度的單詞，先對單詞進行詞向量編碼，
9、s23、針對某一列離散型信號數據，統計離散型的類別數目，設其類別數為k，則進行onehot編碼，編碼為k維度的特征向量；如果有l列離散型信號數據，則分別構造l個多維度的特征向量，其維度與每列當中類別的數目相關；l個多維度的向量輸入到離散型數據特征生成器，輸出256維度的離散型特征向量；如果離散型信號數據列數太多，則進行分組，每組是一個模態，每組輸入到離散型數據特征生成器生成一個256維度的特征，r個分組則輸入到r個離散型數據特征生成器生成r個256維度的特征向量；
10、s24、針對某一列連續型信號數據，先進行歸一化到0-1之間的數據，歸一化采用最大最小值法；如果有l列連續型信號數據，則將l個連續型信號數據輸入到連續型數據特征提取器，輸出一個256維度的連續型特征向量；如果連續型信號數據列數太多，則進行分組，每組是一個模態，每組輸入到連續型數據特征生成器生成一個256維度的特征，r個分組則輸入到r個連續型數據特征生成器生成r個256維度的特征向量；
11、s3、特征融合與對齊：將從不同模態特征生成器生成的特征進行多通道融合和特征對齊；其中，不同模態都是生成了256維度的特征向量，相當于進行了特征對齊；設總共有c個模態，則進行多模態融合后形成c通道的特征圖為c*256的特征矩陣；
12、s4、圖紙數據檢測模型訓練：利用標注的正常樣本數據，使用多模態自編碼器模型，進行模型訓練；
13、步驟s4的具體過程為：
14、s41、將正常樣本經過預處理后，c個不同模態數據輸入到c個不同的特征生成器中，得到c個256維度的特征向量：fi＝featuregeneratori(preprocessed(normaldatai)),i＝1,2,...,c，其中，featuregeneratori為多模態特征生成器，preprocessed()是預處理函數，normaldatai是第i個模態的正常樣本數據，fi是第i個模態的256維度的特征向量；
15、s42、將前述c個256維度的特征向量進行拼接，得到c*256的特征矩陣：i＝concatenate(f1,f2,...,fc)，其中，i是c個特征向量拼接而成的c*256的特征矩陣，concatenate()是連接函數；
16、s43、將特征矩陣i，輸入到多模態自編碼器中進行重構，得到重構的特征矩陣i′：i′＝multimodalautoencoder(i)，其中，multimodalautoencoder是多模態自編碼器；
17、s44、以重構誤差為損失函數訓練多模態自編碼器，損失函數表示如下：loss＝reconstructionerror(i,i′)，其中，reconstructionerror()表示重構誤差函數；
18、s45、當重構誤差收斂后，則停止訓練，多模態自編碼器完成訓練過程；
19、s5、圖紙數據提取：將一個新的多模態數據輸入到多個特征生成器生成多模態特征，融合生成c*256特征矩陣，再將c*256特征矩陣輸入到訓練好的多模態自編碼器，進行數據提取。
20、優選地，步驟s1中所述多模態數據來自不同傳感器、攝像頭或數據采集系統；所述多模態數據包括圖像數據、文本數據、離散型信號數據和連續型信號數據。
21、優選地，步驟s1中所述多模態數據的預處理過程為：對圖像數據進行去噪、去模糊和縮放對齊；對文本數據進行去空格、去符號和截斷對齊。
22、優選地，步驟s45的具體過程為：定義訓練過程中的重構誤差為loss，設定停止條件為重構誤差收斂，即定義一個閾值∈，當滿足∣losst-losst-1∣<∈時，認為重構誤差收斂，多模態自編碼器訓練過程停止，其中，losst表示訓練迭代輪次為t時的重構誤差，losst-1表示t的前一輪次的重構誤差。
23、優選地，步驟s5的具體過程為：
24、s51、將一個新的多模態數據輸入到多個特征生成器生成多模態特征，得到c個256維度的特征向量：finew＝featuregeneratori(newmultimodaldatai)，i＝1,2,...,c，其中，newmultimodaldatai是多模態數據經過預處理后的數據，featuregeneratori是多模態特征生成器，finew是新數據在第i個模態上生成的256維度特征向量；
25、s52、將c個256維度的特征向量進行拼接，得到c*256的特征矩陣：inew＝concatenate(f1new,f2new,...,fcnew)，其中，inew是新數據的c個特征向量拼接而成的c*256的特征矩陣，concatenate()是連接函數；
26、s53、將新數據的c*256特征矩陣輸入到訓練好的多模態自編碼器，進行異常檢測，得到重構的特征矩陣：i'new＝multimodalautoencoder(inew)，其中，multimodalautoencoder為前述訓練好的多模態自編碼器，i'new為新數據的重構的特征矩陣；
27、s54、通過計算重構誤差，設定閾值，當重構誤差大于設定閾值，則判定為異常樣本；重構本文檔來自技高網...
【技術保護點】
1.一種基于多模態特征的圖紙數據提取方法，其特征在于，包括以下步驟：
2.如權利要求1所述的一種基于多模態特征的圖紙數據提取方法，其特征在于：步驟S1中所述多模態數據來自不同傳感器、攝像頭或數據采集系統；所述多模態數據包括圖像數據、文本數據、離散型信號數據和連續型信號數據。
3.如權利要求1所述的一種基于多模態特征的圖紙數據提取方法，其特征在于，步驟S1中所述多模態數據的預處理過程為：對圖像數據進行去噪、去模糊和縮放對齊；對文本數據進行去空格、去符號和截斷對齊。
4.如權利要求1所述的一種基于多模態特征的圖紙數據提取方法，其特征在于，步驟S45的具體過程為：定義訓練過程中的重構誤差為Loss，設定停止條件為重構誤差收斂，即定義一個閾值∈，當滿足∣Losst-Losst-1∣<∈時，認為重構誤差收斂，多模態自編碼器訓練過程停止，其中，Losst表示訓練迭代輪次為t時的重構誤差，Losst-1表示t的前一輪次的重構誤差。
5.如權利要求1所述的一種基于多模態特征的圖紙數據提取方法，其特征在于，步驟S5的具體過程為：
【技術特征摘要】
1.一種基于多模態特征的圖紙數據提取方法，其特征在于，包括以下步驟：
2.如權利要求1所述的一種基于多模態特征的圖紙數據提取方法，其特征在于：步驟s1中所述多模態數據來自不同傳感器、攝像頭或數據采集系統；所述多模態數據包括圖像數據、文本數據、離散型信號數據和連續型信號數據。
3.如權利要求1所述的一種基于多模態特征的圖紙數據提取方法，其特征在于，步驟s1中所述多模態數據的預處理過程為：對圖像數據進行去噪、去模糊和縮放對齊；對文本數據進行去空格、去符號和截斷對齊。...
【專利技術屬性】
技術研發人員：許進程，陳玉明，余豪東，莊俊杰，張伯松，
申請(專利權)人：廈門簡會信息科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。