【技術實現步驟摘要】
本專利技術涉及計算機視覺、圖像處理和嵌入式計算系統，特別是一種嵌入式智能加速器的圖像反射消除方法及裝置。
技術介紹
1、在計算機視覺領域，圖像反射消除是一個關鍵的研究方向，它對于提高圖像質量和計算機視覺任務的準確性至關重要。現有技術主要依賴于卷積神經網絡(cnns)架構，這些方法通常基于一系列關于反射特性的先驗假設，例如反射的模糊特性、由厚重玻璃產生的幽靈般的映像線索，以及反射與透射成像之間的焦距差異。這些方法在特定條件下取得了一定的成效，但它們在處理現實真實世界場景中的復雜反射時遇到了一些困難。例如，現有技術可能無法準確處理薄玻璃表面的反射，或者在多種不同類型反射的場景中表現出不一致的性能。現有的圖像反射消除方法，雖然在某些方面取得了進展，但它們在徹底去除各種真實世界場景中的反射方面仍然面臨挑戰。這些方法的局限性主要在于它們對于反射特性的假設過于簡化，無法適應現實世界的多樣性和復雜性，以及卷積神經網絡自身感受野范圍受限的問題。此外，這些方法在計算資源消耗方面也存在不足，會耗費大量的gpu算力資源。
技術實現思路
1、本專利技術的目的是提高圖像處理的質量和效率，特別是在復雜環境下的圖像反射消除任務。為了解決現有圖像反射消除技術在處理復雜現實世界場景中的局限性，特別是在多變的反射特性和計算資源受限的情況下。具體而言，本專利技術要解決的技術問題包括：
2、1.如何在不依賴于特定反射特性假設的情況下，準確識別并消除圖像中的反射。
3、2.在已有反射圖像數據集不足的
4、3.如何在受限的計算資源和能源消耗條件下，提高圖像反射消除算法的效率和速度。
5、4.如何在包含智能ai芯片平臺的嵌入式智能加速器上，實現高性能的圖像反射消除算法。
6、為了解決上述問題，本專利技術提出一種嵌入式智能加速器的圖像反射消除方法，其中包括：訓練數據準備步驟，獲取已標記圖像標簽的反射圖像作為訓練數據；模型構建步驟，構建基于swin?transformer的網絡架構的反射消除模型，該網絡架構包含用于捕捉圖像中的長距離依賴關系的自注意力機制；在嵌入式智能加速器所屬的智能ai芯片平臺搭建該反射消除模型；模型訓練步驟，該嵌入式智能加速器通過該反射消除模型對該訓練數據進行反射消除，得到反射消除圖像，根據該反射消除圖像和該圖像標簽構建損失函數，在該智能ai芯片平臺上訓練該反射消除模型；圖像反射消除步驟，將待消除反射的圖像輸入嵌入式智能加速器，通過訓練完成后的反射消除模型對待消除反射的圖像進行反射消除處理，得到反射消除圖像作為圖像反射消除結果。
7、該算法利用transformer架構的自注意力機制，能夠捕捉圖像中的長距離依賴關系，從而更準確地處理復雜反射場景，提高反射消除的準確性。
8、所述的嵌入式智能加速器的圖像反射消除方法，其中該反射消除模型包括卷積層和dereflectformer層；該dereflectformer模塊由block構成，該block包含窗口化多頭自注意力機制層和深度多激活函數前饋層；該窗口化多頭自注意力機制層利用自注意力機制捕捉圖像的全局依賴關系；該深度多激活函數前饋層，通過深度可分離卷積對該全局依賴關系和輸入至該窗口化多頭自注意力機制層的輸入特征進行融合，得到第一融合特征；該卷積層用于提取輸入該反射消除模型圖像的圖像特征；通過跳躍連接，將該輸入特征與該block輸出的特征進行融合，得到第二融合特征；融合該第二融合特征和該圖像特征，得到去反射的圖像并與輸入該反射消除模型的圖像結合，得到該反射消除圖像。
9、通過深度多激活函數前饋層從而更準確地處理復雜反射場景，提高反射消除的準確性。
10、所述的嵌入式智能加速器的圖像反射消除方法，其中該訓練數據準備步驟包括：獲取背景圖像b和反射圖像r，對反射圖像r進行模糊處理，得到的反射圖像r_blur；將背景圖像b與反射圖像r_blur相加，得到合成圖像m作為該訓練數據，且該訓練數據的圖像標簽為該背景圖像b。
11、通過采集新的反射圖像數據，生成高質量的訓練樣本，提高模型的泛化能力和對復雜反射場景的適應性。
12、所述的嵌入式智能加速器的圖像反射消除方法，其中該智能ai芯片平臺為寒武紀mlu平臺；該模型訓練步驟包括：在該智能ai芯片平臺上并行訓練該反射消除模型時，通過模型量化和算子優化，提高該反射消除模型在智能ai芯片平臺上的推理速度和效率。
13、通過針對智能ai芯片平臺例如寒武紀mlu平臺的硬件特性進行算法優化，包括算子適配、模型量化和并行訓練策略，顯著提升算法的推理速度和效能，降低計算成本。
14、本專利技術還提出了一種嵌入式智能加速器的圖像反射消除裝置，其中包括：
15、訓練數據準備模塊，獲取已標記圖像標簽的反射圖像作為訓練數據；
16、模型構建模塊，構建基于swin?transformer的網絡架構的反射消除模型，該網絡架構包含用于捕捉圖像中的長距離依賴關系的自注意力機制；在嵌入式智能加速器所屬的智能ai芯片平臺搭建該反射消除模型；
17、模型訓練模塊，該嵌入式智能加速器通過該反射消除模型對該訓練數據進行反射消除，得到反射消除圖像，根據該反射消除圖像和該圖像標簽構建損失函數，在該智能ai芯片平臺上訓練該反射消除模型；
18、圖像反射消除模塊，將待消除反射的圖像輸入嵌入式智能加速器，通過訓練完成后的反射消除模型對待消除反射的圖像進行反射消除處理，得到反射消除圖像作為圖像反射消除結果。
19、所述的嵌入式智能加速器的圖像反射消除裝置，其中該反射消除模型包括卷積層和dereflectformer層；該dereflectformer模塊由block構成，該block包含窗口化多頭自注意力機制層和深度多激活函數前饋層；
20、該窗口化多頭自注意力機制層利用自注意力機制捕捉圖像的全局依賴關系；該深度多激活函數前饋層，通過深度可分離卷積對該全局依賴關系和輸入至該窗口化多頭自注意力機制層的輸入特征進行融合，得到第一融合特征；
21、該卷積層用于提取輸入該反射消除模型圖像的圖像特征；
22、通過跳躍連接，將該輸入特征與該block輸出的特征進行融合，得到第二融合特征；
23、融合該第二融合特征和該圖像特征，得到去反射的圖像并與輸入該反射消除模型的圖像結合，得到該反射消除圖像。
24、所述的嵌入式智能加速器的圖像反射消除裝置，其中該訓練數據準備模塊包括：
25、獲取背景圖像b和反射圖像r，對反射圖像r進行模糊處理，得到的反射圖像r_blur；將背景圖像b與反射圖像r_blur相加，得到合成圖像m作為該訓練數據，且該訓練數據的圖像標簽為該背景圖像b。
26、所述的嵌入式智能加速器的圖像反射消除裝置，其中該智能ai芯片平臺為寒武紀mlu平臺。
27、本專利技術還提出本文檔來自技高網...
【技術保護點】
1.一種嵌入式智能加速器的圖像反射消除方法，其特征在于，包括：
2.如權利要求1所述的嵌入式智能加速器的圖像反射消除方法，其特征在于，該反射消除模型包括卷積層和DereflectFormer層；該DereflectFormer模塊由Block構成，該Block包含窗口化多頭自注意力機制層和深度多激活函數前饋層；
3.如權利要求1所述的嵌入式智能加速器的圖像反射消除方法，其特征在于，該訓練數據準備步驟包括：
4.如權利要求1所述的嵌入式智能加速器的圖像反射消除方法，其特征在于，該智能AI芯片平臺為寒武紀MLU平臺；該模型訓練步驟包括：在該智能AI芯片平臺上并行訓練該反射消除模型時，通過模型量化和算子優化，提高該反射消除模型在智能AI芯片平臺上的推理速度和效率。
5.一種嵌入式智能加速器的圖像反射消除裝置，其特征在于，包括：
6.如權利要求5所述的嵌入式智能加速器的圖像反射消除裝置，其特征在于，該反射消除模型包括卷積層和DereflectFormer層；該DereflectFormer模塊由Block構成，該Block包含窗
7.如權利要求5所述的嵌入式智能加速器的圖像反射消除裝置，其特征在于，該訓練數據準備模塊包括：
8.如權利要求5所述的嵌入式智能加速器的圖像反射消除裝置，其特征在于，該智能AI芯片平臺為寒武紀MLU平臺；該模型訓練模塊包括：在該智能AI芯片平臺上并行訓練該反射消除模型時，通過模型量化和算子優化，提高該反射消除模型在智能AI芯片平臺上的推理速度和效率。
9.一種電子設備，其特征在于，包括權利要求5-8所述的一種嵌入式智能加速器的圖像反射消除裝置。
10.一種存儲介質，用于存儲一種執行權利要求1-4所述嵌入式智能加速器的圖像反射消除方法的計算機程序。
...【技術特征摘要】
1.一種嵌入式智能加速器的圖像反射消除方法，其特征在于，包括：
2.如權利要求1所述的嵌入式智能加速器的圖像反射消除方法，其特征在于，該反射消除模型包括卷積層和dereflectformer層；該dereflectformer模塊由block構成，該block包含窗口化多頭自注意力機制層和深度多激活函數前饋層；
3.如權利要求1所述的嵌入式智能加速器的圖像反射消除方法，其特征在于，該訓練數據準備步驟包括：
4.如權利要求1所述的嵌入式智能加速器的圖像反射消除方法，其特征在于，該智能ai芯片平臺為寒武紀mlu平臺；該模型訓練步驟包括：在該智能ai芯片平臺上并行訓練該反射消除模型時，通過模型量化和算子優化，提高該反射消除模型在智能ai芯片平臺上的推理速度和效率。
5.一種嵌入式智能加速器的圖像反射消除裝置，其特征在于，包括：
6.如權利要求5所述的嵌入式智...
【專利技術屬性】
技術研發人員：魏傲，張韓賓，趙二虎，
申請(專利權)人：上海處理器技術創新中心，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。