【技術實現步驟摘要】
本專利技術涉及圖像識別，尤其涉及一種基于多維度圖像視覺識別的立體顯示系統及方法。
技術介紹
1、圖像識別技術可以廣泛地應用于各類視覺任務中，如可以應用在植物分類、菜品識別、地標識別等領域中，現有的圖像識別技術主要是通過機器學習的手段提取圖像的特征，并通過提取的特征來區分不同圖像的技術。例如，整個過程可以通過基于機器學習的方式訓練的圖像識別模型，來實現對圖像的識別。
2、但是，在現有的圖像識別領域中，抓拍的目標物體可能會被行人和其他目標物體等障礙物遮擋，被遮擋的圖像降低了目標識別的準確率，現有的遮擋圖像識別模型對被遮擋目標物體的識別精度低，而且對于不同遮擋位置的目標物體圖像，不能精確的進行目標物體識別，降低了模型的魯棒性。
技術實現思路
1、本專利技術公開一種基于多維度圖像視覺識別的立體顯示系統及方法，旨在解決
技術介紹
中的技術問題。
2、為了實現上述目的，本專利技術采用了如下技術方案：
3、一種基于多維度圖像視覺識別的立體顯示系統，包括獲取模塊、預處理模塊、顯示模塊和數據存儲模塊；
4、所述獲取模塊用來獲取待識別目標物體的圖像，并對所述待識別目標物體的圖像進行預處理，
5、所述預處理模塊用來獲取初始遮擋圖像識別模型，并在所述初始遮擋圖像識別模型的編碼器中設置動態的掩碼感知模塊和多頭注意力約束模塊，建立編碼神經網絡；在所述初始遮擋圖像識別模型的解碼器中設置多個局部原型，建立解碼神經網絡；
6、在所述初始遮擋圖像識別
7、所述顯示模塊配置為根據數據的來源和任務設定的優先級動態從匯聚處理后的數據提取關聯信息，進行多維度的三維立體可視化交互展示；
8、所述數據存儲模塊用于緩存視頻圖像，在輸入的原視頻圖像一幀的時間內，將原視頻圖像拆分為十二個分辨率低于原視頻圖像的視頻圖像，將該視頻圖像的紅綠藍三種顏色分量輸入到相應的各子像素驅動單元中；通過控制各子像素驅動單元中的開關的開合來完成子像素單元的不同組合顯示方式，實現將視頻圖像右移、下移或斜向右下移一個子像素單元的距離進行顯示。
9、在一個優選的方案中，所述獲取模塊的獲取方法為：獲取目標場景內固定監控設備采集的視頻幀數據、移動監控設備在指定位置采集的視頻幀數據和3d點云數據、以及各物聯網傳感器采集的傳感數據，所述預處理模塊對所述待識別目標物體的圖像進行預處理，獲取預處理圖像的步驟包括：對所述待識別目標物體的圖像進行像素大小調整，獲取像素統一的目標物體圖像；對所述像素統一的目標物體圖像進行數據增強，獲取數據增強后的目標物體圖像；以及對所述數據增強后的目標物體圖像進行分割，獲取所述預處理圖像，所述編碼神經網絡建立模塊，用于獲取初始遮擋圖像識別模型，并在所述初始遮擋圖像識別模型的編碼器中設置動態的掩碼感知模塊和多頭注意力約束模塊，建立編碼神經網絡；解碼神經網絡建立模塊，用于在所述初始遮擋圖像識別模型的解碼器中設置多個局部原型，以建立解碼神經網絡。
10、在一個優選的方案中，所述圖像識別模型需要進行更新，得到更新后的圖像識別模型，包括以下步驟：響應于獲取到包含指定信息的更新指令，所述指定信息用于反映選中的修正信息，包括選中的修正信息所對應的目標用戶標識以及用戶選中的修正信息所屬的類別信息，所述顯示模塊包括智能分析結果疊加單元、場景目標軌跡漫游單元、三維視頻拼接融合單元、場景目標檢索單元以及立體展示單元，所述中間遮擋圖像識別模型建立模塊，用于在所述初始遮擋圖像識別模型中設置瞬時方向提取模塊和損失函數模塊，并將所述編碼神經網絡的輸出端以及所述瞬時方向提取模塊的輸出端與所述解碼神經網絡的輸入端連接，建立中間遮擋圖像識別模型。
11、一種基于多維度圖像視覺識別的立體顯示方法，具體包括以下步驟：
12、步驟s1：獲取目標場景內固定監控設備采集待識別目標物體的圖像，并對所述待識別目標物體的圖像進行預處理；
13、步驟s2：預處理模塊對圖像進行識別并獲取模型；
14、步驟s3：從結構化信息中間隔提取場景和目標信息以及關聯特征，并進行匯聚處理；匯聚處理后，將關鍵信息存儲到數據庫中；
15、步驟s4：最后顯示模塊進行多維度的三維立體可視化交互展示。
16、由上可知，一種基于多維度圖像視覺識別的立體顯示系統，包括獲取模塊、預處理模塊、顯示模塊和數據存儲模塊；所述獲取模塊用來獲取待識別目標物體的圖像，并對所述待識別目標物體的圖像進行預處理，所述預處理模塊用來獲取初始遮擋圖像識別模型，并在所述初始遮擋圖像識別模型的編碼器中設置動態的掩碼感知模塊和多頭注意力約束模塊，建立編碼神經網絡；在所述初始遮擋圖像識別模型的解碼器中設置多個局部原型，建立解碼神經網絡；在所述初始遮擋圖像識別模型中設置瞬時方向提取模塊和損失函數模塊，并將所述編碼神經網絡的輸出端以及所述瞬時方向提取模塊的輸出端與所述解碼神經網絡的輸入端連接，建立中間遮擋圖像識別模型；以及將所述預處理圖像作為所述中間遮擋圖像識別模型的輸入變量，對所述中間遮擋圖像識別模型進行訓練和優化，獲取目標遮擋圖像識別模型；所述顯示模塊配置為根據數據的來源和任務設定的優先級動態從匯聚處理后的數據提取關聯信息，進行多維度的三維立體可視化交互展示；所述數據存儲模塊用于緩存視頻圖像，在輸入的原視頻圖像一幀的時間內，將原視頻圖像拆分為十二個分辨率低于原視頻圖像的視頻圖像，將該視頻圖像的紅綠藍三種顏色分量輸入到相應的各子像素驅動單元中；通過控制各子像素驅動單元中的開關的開合來完成子像素單元的不同組合顯示方式，實現將視頻圖像右移、下移或斜向右下移一個子像素單元的距離進行顯示。本專利技術提供的基于多維度圖像視覺識別的立體顯示系統及方法具有以下技術效果：
17、1、通過使用遮擋圖像識別模型對輸入的目標物體圖像進行更好的特征提取，有效的提高了被遮擋的目標物體重識別的準確率，中間遮擋圖像識別模型進行訓練和優化，使得解碼器可以專注于圖像的目標信息，提高了對圖像的特征提取，提高目標物體重識別的準確性和效率；
18、2、利用多頭注意力約束模塊對圖像的特征向量進行聚類，，提高了注意力網絡模型的泛化能力、魯棒性和可靠性，而且通過設置損失函數模塊對注意力網絡模型進行優化和在解碼器中設置多個局部原型，提高了遮擋圖像識別模型的預測輸出結果的準確性，從而提高了對被遮擋目標物體進行識別的準確率；
19、3、通用遮擋圖像識別模型獲得的待識別圖像的目標特征不僅僅關注圖像的全局特征，而且關注圖像的局部特征，避免遺漏待識別圖像的重要特征；以目標特征結合目標類別搜索待識別圖像的相似圖片，即使針對場景比較復雜的待識別圖像，也可有效提高本文檔來自技高網...
【技術保護點】
1.一種基于多維度圖像視覺識別的立體顯示系統，包括獲取模塊、預處理模塊、顯示模塊和數據存儲模塊，其特征在于，
2.根據權利要求1所述的一種基于多維度圖像視覺識別的立體顯示系統，其特征在于，所述獲取模塊的獲取方法為：獲取目標場景內固定監控設備采集的視頻幀數據、移動監控設備在指定位置采集的視頻幀數據和3D點云數據、以及各物聯網傳感器采集的傳感數據。
3.根據權利要求2所述的一種基于多維度圖像視覺識別的立體顯示系統，其特征在于，所述預處理模塊對所述待識別目標物體的圖像進行預處理，獲取預處理圖像的步驟包括：對所述待識別目標物體的圖像進行像素大小調整，獲取像素統一的目標物體圖像；對所述像素統一的目標物體圖像進行數據增強，獲取數據增強后的目標物體圖像；以及對所述數據增強后的目標物體圖像進行分割，獲取所述預處理圖像。
4.根據權利要求3所述的一種基于多維度圖像視覺識別的立體顯示系統，其特征在于，所述編碼神經網絡建立模塊，用于獲取初始遮擋圖像識別模型，并在所述初始遮擋圖像識別模型的編碼器中設置動態的掩碼感知模塊和多頭注意力約束模塊，建立編碼神經網絡；解碼神經網
5.根據權利要求4所述的一種基于多維度圖像視覺識別的立體顯示系統，其特征在于，所述圖像識別模型需要進行更新，得到更新后的圖像識別模型，包括以下步驟：響應于獲取到包含指定信息的更新指令，所述指定信息用于反映選中的修正信息，包括選中的修正信息所對應的目標用戶標識以及用戶選中的修正信息所屬的類別信息。
6.根據權利要求5所述的一種基于多維度圖像視覺識別的立體顯示系統，其特征在于，所述顯示模塊包括智能分析結果疊加單元、場景目標軌跡漫游單元、三維視頻拼接融合單元、場景目標檢索單元以及立體展示單元。
7.根據權利要求6所述的一種基于多維度圖像視覺識別的立體顯示系統，其特征在于，所述中間遮擋圖像識別模型建立模塊，用于在所述初始遮擋圖像識別模型中設置瞬時方向提取模塊和損失函數模塊，并將所述編碼神經網絡的輸出端以及所述瞬時方向提取模塊的輸出端與所述解碼神經網絡的輸入端連接，建立中間遮擋圖像識別模型。
8.一種基于多維度圖像視覺識別的立體顯示方法，應用于權利要求1-7任一所述的一種基于多維度圖像視覺識別的立體顯示系統，其特征在于，具體包括以下步驟：
...【技術特征摘要】
1.一種基于多維度圖像視覺識別的立體顯示系統，包括獲取模塊、預處理模塊、顯示模塊和數據存儲模塊，其特征在于，
2.根據權利要求1所述的一種基于多維度圖像視覺識別的立體顯示系統，其特征在于，所述獲取模塊的獲取方法為：獲取目標場景內固定監控設備采集的視頻幀數據、移動監控設備在指定位置采集的視頻幀數據和3d點云數據、以及各物聯網傳感器采集的傳感數據。
3.根據權利要求2所述的一種基于多維度圖像視覺識別的立體顯示系統，其特征在于，所述預處理模塊對所述待識別目標物體的圖像進行預處理，獲取預處理圖像的步驟包括：對所述待識別目標物體的圖像進行像素大小調整，獲取像素統一的目標物體圖像；對所述像素統一的目標物體圖像進行數據增強，獲取數據增強后的目標物體圖像；以及對所述數據增強后的目標物體圖像進行分割，獲取所述預處理圖像。
4.根據權利要求3所述的一種基于多維度圖像視覺識別的立體顯示系統，其特征在于，所述編碼神經網絡建立模塊，用于獲取初始遮擋圖像識別模型，并在所述初始遮擋圖像識別模型的編碼器中設置動態的掩碼感知模塊和多頭注意力約束模塊，建立編碼神經網絡；解碼神經網絡建立模塊，用于在所述初始遮擋圖像識別模型的...
【專利技術屬性】
技術研發人員：許召輝，康濤，李旭，
申請(專利權)人：中航華東光電上海有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。