【技術實現步驟摘要】
本專利技術涉及激光雷達，具體是一種激光雷達數據質量控制的方法。
技術介紹
1、相干多普勒測風激光雷達具有測量分辨率高、測量精度高等諸多優勢，現已成為風場測量的有效工具之一。但是由于觀測場景的天氣狀況、設備系統噪聲、不滿足均勻風場假設等因素的影響，如果不加以控制和剔除，則會影響雷達的數據質量。
2、現有的激光雷達數據質量控制方法主要有兩類。第一種是基于雷達光學及硬件系統的質量控制方法，通過構建更加穩定且精密的器件來保證回波信號的準確性。第二種是基于反演方法或機制的算法優化，對于不同的反演方法采取針對性優化策略。這些方法大多數從雷達自身出發，需要對雷達系統和算法有深刻的理解，不適用于僅需要利用雷達數據進行風場測量相關應用的用戶。此外，這些方法忽略了風速在時間上的一致性和空間上的自相關性，數據質量改善程度往往有限。
技術實現思路
1、本專利技術為了解決現有技術的問題，提供了一種激光雷達數據質量控制的方法，通過結合時間一致性和空間自相關性檢驗，有效地識別并處理風速數據中的異常值，提高了風速數據的質量和分析結果的可靠性，適用于氣象學、氣候研究、風能資源評估和環境監測等領域。
2、本專利技術提供了一種激光雷達數據質量控制的方法，包括以下步驟：
3、1)獲取激光雷達相關數據；
4、2)雷達數據初步篩選：
5、2.1)對激光雷達數據進行信噪比上下限閾值的篩選，減少系統中的噪聲導致的風速虛警；
6、2.2)根據雷達有效率或有效狀
7、2.3)設定徑向風速下限閾值，篩選小幅值風速；
8、3)采用漢佩爾過濾器進行時間一致性檢查，對于固定窗口大小的時間序列數據，計算該段數據的中值絕對離差mad值，經過換算mad得到標準差sd，設定閾值n，超過n倍的sd的值視為奇異值，剔除或修正奇異值；
9、4)采用莫蘭指數進行空間自相關性檢查，并通過顯著性檢驗識別空間分布中的奇異點或異常區域，剔除或修正奇異點。
10、進一步改進，步驟1)所述激光雷達相關數據包括激光雷達徑向風速、水平風速、俯仰角、方位角、距離門、信噪比、有效標識位、時間戳。
11、進一步改進，步驟2.2)所述根據雷達有效率或有效狀態進行篩選具體過程如下：對于實時數據，根據雷達數據的標識位判定數據是否有效，標識位為0的數據視為無效數據，并刪除無效數據；對于重采樣的分鐘級數據，先根據實時數據中的標識位計算有效數據的占比，剔除有效率低于80％的數據值。
12、進一步改進，步驟3)所述采用漢佩爾過濾器進行時間一致性檢查具體步驟如下：
13、3.1)給定一個相同測點的雷達數據時間序列x1,x2,x3,…xn和滑窗大小k，定義局部中位數為：
14、mi＝median(xi-k,xi-k+1,…xi,…,xi+k-1,xi+k)
15、3.2)計算中值絕對離差mad為：
16、madi＝median(|xi-k-mi|,…,|xi+k-mi|)
17、3.3)在正態分布假設下，中值絕對離差mad和標準差sd之間固定的關系如下：
18、
19、其中iqr為數據的四分位距；
20、3.4)識別奇異點，設定閾值常數為c，當|xi-mi|>c×sdi則判定xi為奇異值；
21、3.5)剔除或修正奇異值。
22、進一步改進，步驟3.4)所屬閾值常數c默認設為3，滑窗大小和閾值常數根據雷達數據的波動情況進行調整。
23、進一步改進，步驟3.5)所述剔除或修正奇異值具體過程為對于奇異值選擇直接從時間序列中剔除，或者使用mi替代奇異值。
24、進一步改進，步驟4)所述采用莫蘭指數進行空間自相關性檢查具體過程如下：
25、4.1)收集時間一致性修正后的激光雷達風速數據，根據測點的空間位置信息，選擇重新插值為柵格數據或直接量化測點之間的空間關系；
26、4.2)選擇局部計算空間，計算局部范圍內的風速均值
27、
28、其中，wi是第i個觀測點的風速值，n是觀測點的總數；
29、4.3)定義空間權重矩陣，利用空間權重矩陣ωij定義第i個觀測點和第j個觀測點之間的空間關系，包括以下兩種距離權重定義的方式：
30、反距離權重：其中dij是i和j之間的距離。
31、高斯權重：其中dij是i和j之間的距離,σ是一個參數；
32、4.4)計算莫蘭指數，其計算公式為：
33、
34、其中，wi和wj是第i和j個觀測點的風速值；是局部區域內風速均值；ωij是空間權重；是所有空間權重的總和；
35、4.5)莫蘭指數的顯著性檢驗及奇異點識別：
36、莫蘭指數的顯著性檢驗：
37、計算z分數，公式為
38、
39、其中，e(ii)為局部莫蘭指數的期望值，var(ii)為局部莫蘭指數的方差；z分數表示莫蘭指數與期望值之間的標準差距離；通過z分數和標準正態分布表，確定每個區域的p值，如果p值小于某個顯著性水平，則認為該區域的空間自相關性是顯著的；
40、對于奇異點的判斷：
41、根據閾值判斷：根據顯著性檢驗的結果，p值小于某個顯著性水平的點均為潛在的奇異點；
42、異常熱點和冷點：如果一個區域的屬性值高于平均值，但其鄰近區域的屬性值低于平均值，則該點視為異常熱點；如果一個區域的屬性值低于平均值，但其鄰近區域的屬性值高于平均值，則該點視為異常冷點，異常熱點和冷點均為奇異點
43、4.6)剔除或修正奇異點。
44、進一步改進，步驟4.5)中，如果p值小于0.05，則認為該區域的空間自相關性是顯著的，p值小于0.05的點作為潛在的奇異點。
45、進一步改進，步驟4.6)所述剔除或修正奇異點過程具體為：對于被識別為奇異點的觀測值，直接剔除這些點或使用鄰近點的平均值或插值方法來替換這些奇異點。所述替換奇異點的方法為通過周圍點的加權平均值來替換奇異點的值。
46、本專利技術有益效果在于：
47、1.本專利技術根據雷達數據誤差來源，從信噪比、有效率和小幅值風速三個方面對雷達數據進行了整體數據質量控制，減少誤差和噪聲的影響，提高風速數據的準確性。
48、2.本專利技術采用漢佩爾過濾器進行雷達數據時間一致性檢查，利用莫蘭指數進行空間自相關性檢查，結合了風速的時空特性，減少極端值和異常點對數據分析的影響，使結果更加穩定可靠。
49、3.本專利技術的各個技術過程中，均設置有可配置的參數(例如：信噪比閾值，漢佩爾過濾器的滑窗大小和閾值常數，莫蘭指數中的權重定義等)，便于根據具體問題配置最佳的參數，具有廣泛的適應性。
本文檔來自技高網...【技術保護點】
1.一種激光雷達數據質量控制的方法，其特征在于包括以下步驟：
2.根據權利要求1所述的激光雷達數據質量控制的方法，其特征在于：步驟1)所述激光雷達相關數據包括激光雷達徑向風速、水平風速、俯仰角、方位角、距離門、信噪比、有效標識位、時間戳。
3.根據權利要求1所述的激光雷達數據質量控制的方法，其特征在于：步驟2.2)所述根據雷達有效率或有效狀態進行篩選具體過程如下：對于實時數據，根據雷達數據的標識位判定數據是否有效，標識位為0的數據視為無效數據，并刪除無效數據；對于重采樣的分鐘級數據，先根據實時數據中的標識位計算有效數據的占比，剔除有效率低于80％的數據值。
4.根據權利要求1所述的激光雷達數據質量控制的方法，其特征在于：步驟3)所述采用漢佩爾過濾器進行時間一致性檢查具體步驟如下：
5.根據權利要求4所述的激光雷達數據質量控制的方法，其特征在于：步驟3.4)所屬閾值常數c默認設為3，滑窗大小和閾值常數根據雷達數據的波動情況進行調整。
6.根據權利要求4所述的激光雷達數據質量控制的方法，其特征在于：步驟3.5)所述剔除或修正
7.根據權利要求1所述的激光雷達數據質量控制的方法，其特征在于：步驟4)所述采用莫蘭指數進行空間自相關性檢查具體過程如下：
8.根據權利要求7所述的激光雷達數據質量控制的方法，其特征在于：步驟4.5)中，如果p值小于0.05，則認為該區域的空間自相關性是顯著的，p值小于0.05的點作為潛在的奇異點。
9.根據權利要求7所述的激光雷達數據質量控制的方法，其特征在于：步驟4.6)所述剔除或修正奇異點過程具體為：對于被識別為奇異點的觀測值，直接剔除這些點或使用鄰近點的平均值或插值方法來替換這些奇異點。
10.根據權利要求9所述的激光雷達數據質量控制的方法，其特征在于：所述替換奇異點的方法為通過周圍點的加權平均值來替換奇異點的值。
...【技術特征摘要】
1.一種激光雷達數據質量控制的方法，其特征在于包括以下步驟：
2.根據權利要求1所述的激光雷達數據質量控制的方法，其特征在于：步驟1)所述激光雷達相關數據包括激光雷達徑向風速、水平風速、俯仰角、方位角、距離門、信噪比、有效標識位、時間戳。
3.根據權利要求1所述的激光雷達數據質量控制的方法，其特征在于：步驟2.2)所述根據雷達有效率或有效狀態進行篩選具體過程如下：對于實時數據，根據雷達數據的標識位判定數據是否有效，標識位為0的數據視為無效數據，并刪除無效數據；對于重采樣的分鐘級數據，先根據實時數據中的標識位計算有效數據的占比，剔除有效率低于80％的數據值。
4.根據權利要求1所述的激光雷達數據質量控制的方法，其特征在于：步驟3)所述采用漢佩爾過濾器進行時間一致性檢查具體步驟如下：
5.根據權利要求4所述的激光雷達數據質量控制的方法，其特征在于：步驟3.4)所屬閾值常數c默認設為3，滑窗大小和閾值常數根據雷達數據的波動...
【專利技術屬性】
技術研發人員：周思琴，萬威，滕達，
申請(專利權)人：南京牧鐳激光科技股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。