基于人工智能的線性掃描相機抖動程度檢測方法及系統技術方案

本發明專利技術公開了一種基于人工智能的線性掃描相機抖動程度檢測方法及系統，涉及人工智能技術領域。該方法包括如下步驟：采集整排光伏設備的圖像數據，包括參考圖像和焊帶圖像。然后利用深度神經網絡對所述圖像數據進行特征提取后，輸出每個子圖像的彎曲程度和彎曲方向。再根據每個所述子圖像的彎曲程度和彎曲方向得到該焊帶的彎曲程度序列和彎曲方向序列，進一步根據所述的彎曲程度序列和所述的彎曲方向序列獲取彎曲程度的變化程度和彎曲方向的變化程度。最后根據彎曲程度、彎曲方向、彎曲程度的變化程度和彎曲方向的變化程度計算相機的抖動程度。實現了對光伏電站中線性掃描相機抖動情況和抖動程度的檢測與判定。

【技術實現步驟摘要】
基于人工智能的線性掃描相機抖動程度檢測方法及系統
本專利技術涉及人工智能領域，具體涉及一種基于人工智能的線性掃描相機抖動程度檢測方法及系統。
技術介紹
隨著光伏能源的興起，光伏電站的建設規模越來越大，由于光伏電站安裝大多在高原或者沙漠等光照強度高的荒蕪地帶，需要在電站上方安裝軌道線掃描相機或機器人載的線掃描相機對電池板表面情況進行信息采集，便于日常維護。但是由于環境的影響、機械結構的故障或腐蝕會導致線掃描相機運動過程中出現抖動現象，該現象會使得其采集到的圖像紋理發生形變，焊帶發生彎曲，嚴重時會影響光伏電池表面紋理的分析檢測結果。而目前，針對光伏電站中線性掃描相機的抖動情況和程度的檢測，沒有系統的檢測和判定方法。
技術實現思路
為了解決上述技術問題，本專利技術的目的在于提供一種基于人工智能的線性掃描相機抖動程度檢測方法及系統，所采用的技術方案具體如下：第一方面，本專利技術一個實施例提供了一種基于人工智能的線性掃描相機抖動程度檢測方法，包括以下步驟：采集整排光伏設備的圖像數據，所述圖像數據包括參考圖像和焊帶圖像，所述參考圖像為包含未彎曲焊帶的圖像，所述焊帶圖像為實時采集的圖像；利用深度神經網絡對所述圖像數據進行特征提取后，輸出每個子圖像的彎曲程度和彎曲方向，所述子圖像為所述參考圖像和所述焊帶圖像的特征圖經過融合后劃分得到；根據彎曲程度序列獲取彎曲程度的變化程度a，根據彎曲方向序列獲取彎曲方向的變化程度b，所述彎曲程度序列由每個所述子圖像彎曲程度組成，所述彎曲方向序列由每個所述子圖像的彎曲方向組成；計算相機的抖動程度L：其中，M為劃分的所述子圖像的數量；Di為所述彎曲方向序列D中第i個子圖的彎曲方向，Oi為所述彎曲程度序列O中第i個子圖的彎曲程度；δ為一個超參數，表示所述彎曲方向序列D的均值，表示所述彎曲程度序列O的均值；α表示的是一個衰減系數，與所述彎曲程度的變化程度和所述彎曲方向的變化程度正相關。優選的，深度神經網絡包括焊帶提取網絡、焊帶彎曲特征提取網絡、焊帶彎曲檢測網絡和焊帶彎曲定位網絡，其對所述圖像數據進行特征提取包括以下步驟：利用所述焊帶分割網絡對所述焊帶圖像采樣，獲取焊帶的特征和焊帶的邊界框，根據所述的特征和所述邊界框獲得焊帶的裁切圖；將所述參考圖像和所述焊帶的裁切圖經過所述焊帶彎曲特征提取網絡，分別輸出第一特征圖和第二特征圖，所述第一特征圖包含所述參考圖像中未彎曲焊帶的特征信息，所述第二特征圖包含所述焊帶的裁切圖中焊帶的特征信息；將所述第一特征圖和所述第二特征圖進行多層特征融合，得到融合特征圖；利用所述焊帶彎曲檢測網絡對所述融合特征圖進行全連接層分類，判斷所述焊帶的裁切圖中的焊帶是否彎曲；在所述焊帶的裁切圖中的焊帶出現彎曲時，利用焊帶彎曲定位網絡將所述融合特征圖按照每N列像素劃分一塊子圖像，輸出每個子圖像的彎曲程度和彎曲方向。優選的，根據所述的彎曲程度序列獲取彎曲程度的變化程度包括：將所述彎曲程度序列用一個長度為m的滑動窗口進行濾波操作；經過多次濾波后，得到濾波結果的序列；以所述濾波結果的序列中的最大值作為整條焊帶的彎曲程度的變化程度。優選的，該方法還包括根據抖動程度進行焊帶圖像的修正，包括以下步驟：在所述相機抖動程度大于預設閾值時，篩選每個所述子圖像，獲取彎曲程度非零的子圖像的彎曲程度和彎曲方向；將所述彎曲程度非零的子圖像根據其彎曲程度和彎曲方向進行逆向復原有缺陷的特征，得到焊帶原本形狀特征。第二方面，本專利技術另一個實施例提供了一種基于人工智能的線性掃描相機抖動程度檢測系統，該系統包括：圖像采集模塊，用于采集整排光伏設備的圖像數據，所述圖像數據包括參考圖像和焊帶圖像，所述參考圖像為包含未彎曲焊帶的圖像，所述焊帶圖像為實時采集的圖像；神經網絡模塊，用于利用深度神經網絡對所述圖像數據進行特征提取后，輸出每個子圖像的彎曲程度和彎曲方向，所述子圖像為所述參考圖像和所述焊帶圖像的特征圖經過融合后劃分得到；變化程度獲取模塊，用于根據彎曲程度序列獲取彎曲程度的變化程度a，根據彎曲方向序列獲取彎曲方向的變化程度b，所述彎曲程度序列由每個所述子圖像彎曲程度組成，所述彎曲方向序列由每個所述子圖像的彎曲方向組成；抖動程度計算模塊，用于計算相機的抖動程度L：其中，M為劃分的所述子圖像的數量；Di為所述彎曲方向序列D中第i個子圖的彎曲方向，Oi為所述彎曲程度序列O中第i個子圖的彎曲程度；δ為一個超參數，表示所述彎曲方向序列D的均值，表示所述彎曲程度序列O的均值；α表示的是一個衰減系數，與所述彎曲程度的變化程度和所述彎曲方向的變化程度正相關。優選的，神經網絡模塊包括：焊帶提取網絡單元，用于利用所述焊帶分割網絡對所述焊帶圖像采樣，獲取焊帶的特征和焊帶的邊界框，根據所述的特征和所述邊界框獲得焊帶的裁切圖；焊帶彎曲特征提取網絡單元，用于將所述參考圖像和所述焊帶的裁切圖經過所述焊帶彎曲特征提取網絡，分別輸出第一特征圖和第二特征圖，所述第一特征圖包含所述參考圖像中未彎曲焊帶的特征信息，所述第二特征圖包含所述焊帶的裁切圖中焊帶的特征信息；特征融合單元，用于將所述第一特征圖和所述第二特征圖進行多層特征融合，得到融合特征圖；焊帶彎曲檢測網絡單元，用于利用所述焊帶彎曲檢測網絡對所述融合特征圖進行全連接層分類，判斷所述焊帶的裁切圖中的焊帶是否彎曲；焊帶彎曲定位網絡單元，用于在所述焊帶的裁切圖中的焊帶出現彎曲時，利用焊帶彎曲定位網絡將所述融合特征圖按照每N列像素劃分一塊子圖像，輸出每個子圖像的彎曲程度和彎曲方向。優選的，變化程度獲取模塊包括：濾波單元，用于將所述彎曲程度序列用一個長度為m的滑動窗口進行濾波操作；濾波序列單元，用于經過多次濾波后，得到濾波結果的序列；變化程度獲取單元，用于以所述濾波結果的序列中的最大值作為整條焊帶的彎曲程度的變化程度。優選的，該系統還包括圖像修正模塊，包括：篩選單元，用于在所述相機抖動程度大于預設閾值時，篩選每個所述子圖像，獲取彎曲程度非零的子圖像的彎曲程度和彎曲方向；特征修正單元，用于將所述彎曲程度非零的子圖像根據其彎曲程度和彎曲方向進行逆向復原缺陷的特征，得到焊帶原本形狀特征。本專利技術至少具有如下有益效果：本專利技術通過深度神經網絡獲取線性掃描相機所采集的圖像中焊帶的特征信息，然后將焊帶特征信息劃分為多個子圖像，獲取每個子圖像的彎曲程度和彎曲方向后，得到彎曲程度的序列和彎曲方向的序列，最后根據這兩個序列分別得到彎曲程度的變化程度和彎曲方向的變化程度；依照彎曲程度序列、彎曲方向序列、彎曲程度的變化程度和彎曲方向的變化程度反映相機的抖動情況。實現了對光伏電站中線性掃描相機抖動情況和抖動程度的檢測與判定。附圖說明為了更清楚地說明本專利技術實施例或現有技術中的技術方案和優點，下面將對實施例或現有技術描述中所需要使用的附圖本文檔來自技高網...

【技術保護點】
1.基于人工智能的線性掃描相機抖動程度檢測方法，其特征在于，包括以下步驟：/n采集整排光伏設備的圖像數據，所述圖像數據包括參考圖像和焊帶圖像，所述參考圖像為包含未彎曲焊帶的圖像，所述焊帶圖像為實時采集的圖像；/n利用深度神經網絡對所述圖像數據進行特征提取后，輸出每個子圖像的彎曲程度和彎曲方向，所述子圖像為所述參考圖像和所述焊帶圖像的特征圖經過融合后劃分得到；/n根據彎曲程度序列獲取彎曲程度的變化程度a，根據彎曲方向序列獲取彎曲方向的變化程度b，所述彎曲程度序列由每個所述子圖像彎曲程度組成，所述彎曲方向序列由每個所述子圖像的彎曲方向組成；/n計算相機的抖動程度L：/n

【技術特征摘要】
1.基于人工智能的線性掃描相機抖動程度檢測方法，其特征在于，包括以下步驟：
采集整排光伏設備的圖像數據，所述圖像數據包括參考圖像和焊帶圖像，所述參考圖像為包含未彎曲焊帶的圖像，所述焊帶圖像為實時采集的圖像；
利用深度神經網絡對所述圖像數據進行特征提取后，輸出每個子圖像的彎曲程度和彎曲方向，所述子圖像為所述參考圖像和所述焊帶圖像的特征圖經過融合后劃分得到；
根據彎曲程度序列獲取彎曲程度的變化程度a，根據彎曲方向序列獲取彎曲方向的變化程度b，所述彎曲程度序列由每個所述子圖像彎曲程度組成，所述彎曲方向序列由每個所述子圖像的彎曲方向組成；
計算相機的抖動程度L：



其中，M為劃分的所述子圖像的數量；Di為所述彎曲方向序列D中第i個子圖的彎曲方向，Oi為所述彎曲程度序列O中第i個子圖的彎曲程度；δ為一個超參數，表示所述彎曲方向序列D的均值，表示所述彎曲程度序列O的均值；α表示的是一個衰減系數，與所述彎曲程度的變化程度和所述彎曲方向的變化程度正相關。


2.根據權利要求1所述的基于人工智能的線性掃描相機抖動程度檢測方法，其特征在于，所述的深度神經網絡包括焊帶提取網絡、焊帶彎曲特征提取網絡、焊帶彎曲檢測網絡和焊帶彎曲定位網絡，其對所述圖像數據進行特征提取包括以下步驟：
利用所述焊帶分割網絡對所述焊帶圖像采樣，獲取焊帶的特征和焊帶的邊界框，根據所述的特征和所述邊界框獲得焊帶的裁切圖；
將所述參考圖像和所述焊帶的裁切圖經過所述焊帶彎曲特征提取網絡，分別輸出第一特征圖和第二特征圖，所述第一特征圖包含所述參考圖像中未彎曲焊帶的特征信息，所述第二特征圖包含所述焊帶的裁切圖中焊帶的特征信息；
將所述第一特征圖和所述第二特征圖進行多層特征融合，得到融合特征圖；
利用所述焊帶彎曲檢測網絡對所述融合特征圖進行全連接層分類，判斷所述焊帶的裁切圖中的焊帶是否彎曲；
在所述焊帶的裁切圖中的焊帶出現彎曲時，利用焊帶彎曲定位網絡將所述融合特征圖按照每N列像素劃分一塊子圖像，輸出每個子圖像的彎曲程度和彎曲方向。


3.根據權利要求1所述的基于人工智能的線性掃描相機抖動程度檢測方法，其特征在于，所述的根據所述的彎曲程度序列獲取彎曲程度的變化程度包括：
將所述彎曲程度序列用一個長度為m的滑動窗口進行濾波操作；
經過多次濾波后，得到濾波結果的序列；
以所述濾波結果的序列中的最大值作為整條焊帶的彎曲程度的變化程度。


4.根據權利要求1所述基于人工智能的線性掃描相機抖動程度檢測方法，其特征在于，該方法還包括根據抖動程度進行焊帶圖像的修正，包括以下步驟：
在所述相機抖動程度大于預設閾值時，篩選每個所述子圖像，獲取彎曲程度非零的子圖像的彎曲程度和彎曲方向；
將所述彎曲程度非零的子圖像根據其彎曲程度和彎曲方向進行逆向復原有缺陷的特征，得到焊帶原本形狀特征。


5.基于人工智能的線性掃描相機抖動程度檢...

【專利技術屬性】
技術研發人員：王宗亞，徐爾靈，
申請(專利權)人：王宗亞，
類型：發明
國別省市：廣東;44