【技術實現步驟摘要】
本專利技術屬于數據處理領域，尤其涉及一種重復數據去除方法、系統、設備及介質。
技術介紹
1、目前，基于線激光的三維重建技術，通過向物體表面投射激光，激光由于物體表面深度的變化以及可能的間隙而受到調制，表現在圖像中則是光條發生了變化和不連續，變化的程度與深度成正比，不連續則顯示出了物體表面的物理間隙。通過數學模型重建此調制過程，從而根據激光平面和物體外表面交線的二維激光條紋圖像獲得其三維坐標。由于其重建速度快、結構簡單、精度高、抗干擾能力強的優點，被廣泛應用于汽車生產、電子制造等各個領域中的產品尺寸檢測、焊縫跟蹤、工件輪廓測量、機器人軌跡引導等諸多場景中。
2、中心線相機，也稱為線激光3d相機，則是基于線激光的三維重建技術的三維掃描設備，相機從圖像中提取線條的中心線并形成中心線數據，在輸出當前圖像中的中心線數據過程中，由于設備故障、人為錯誤或其他環境因素,例如中心線數據在傳輸過程中被重復復制或存儲，中心線數據中會存在大量的重復數據，因此需要對這些重復數據進行去除。中心線數據主要包括當前圖像中所有中心線的點數據(包括坐標x、y和強度z)，且一張圖片中中心線的比例通常占比較少，坐標x和y存在上下限。因此，基于圖片尺寸確定的數據范圍通常要遠大于最終去重后的有效數據量。
3、一般情況下，可以使用位圖的方式存儲中心線數據并進行去重,?但是位圖的插入較慢,?而且清空時也會比較慢。如果使用順序表的方式存儲雖然清空較快但難以查找。因此本專利技術為了結合上述兩種方式的優點，使得去重速度和后續清空都能以比較快的方式呈現，提供了
技術實現思路
1、本專利技術的目的在于克服現有技術存在的以上問題，提供一種重復數據去除方法、系統、設備及介質。
2、為實現上述技術目的，達到上述技術效果，本專利技術通過以下技術方案實現：
3、一種重復數據去除方法，重復數據為經過線中心提取后的若干帶有位置信息的待處理數據，基于存儲空間對待處理數據進行識別并去除重復數據，從而得到有效數據，并在去除重復數據后完成存儲空間的清空，去除方法包括：
4、初始化設置第一數組、第二數組以及計數值，遍歷待處理數據，判斷第一數組中與當前數據相對應位置是否存在標識，忽略已標識位置對應的當前數據，輸出未標識位置對應的當前數據為有效數據，并同時對第一數組對應位置進行標識，以識別后續待處理數據是否為重復數據；其中，每輸出一次有效數據，同步將當前有效數據按順序存儲至第二數組，并將計數值加一，以使第二數組中有效數據與第一數組標識位置一一對應；
5、基于待處理數據的結束標識，根據第二數組中所存儲的若干個與計數值相對應的有效數據，完成第一數組中對應位置的標識清空，并同時將計數值歸零。
6、進一步地，線中心提取包括：
7、采集原始圖像數據，基于fpga并行讀取各列方向上的像素值，其中，原始圖像數據包含沿行方向分布的線條數據；
8、判斷各列方向上的遞增階段和遞減階段，以確認各列最大值；
9、基于各列最大值獲取對應列方向上的若干相鄰像素位置信息及對應像素值，計算加權重心，得到各列方向上的線中心點信息；
10、依次提取各列方向上的線中心點信息，匯總輸出形成待處理數據。
11、進一步地，第一數組的大小與待處理數據的數據范圍相對應。
12、進一步地，計算順序讀取和隨機讀取的速度比值，以作為第一數組與第二數組的長度比值。
13、進一步地，判斷第一數組中與當前數據相對應位置是否存在標識包括：
14、初始化設置初始化設置第一數組、第二數組以及計數值時均清零；
15、判斷第一數組中與當前數據相對應位置是否為1：如果為1則忽略當前數據，如果為0則設置為1，并輸出對應的當前數據點為有效數據。
16、進一步地，完成第一數組中對應位置的標識清空包括：當識別到結束標識時，判斷計數值是否超過第二數組的大小：
17、如果計數值未超過第二數組的大小，則遍歷第二數組靠前數據中與計數值相對應的若干有效數據，并基于若干有效數據確認第一數組中對應標識為1的位置，從而完成第一數組的清零；
18、如果計數值已超過第二數組的大小，則直接遍歷清空第一數組所有位置為0。
19、進一步地，計數值歸零后，重新接收新的待處理數據，重復上述步驟并依次循環。
20、本專利技術還提供一種重復數據去除系統，包括：
21、初始化模塊，用于初始化設置第一數組、第二數組以及計數值，第一數組用于對待處理數據相應位置進行標識，以識別后續待處理數據是否為重復數據；第二數組用于對有效數據進行存儲，以對應第一數組中已標識的位置信息；計數值用于對有效數據數量進行統計，以確定第二數組中的有效數據存儲情況；其中，有效數據為待處理數據中的非重復數據，第二數組長度小于第一數組；
22、數據處理模塊，用于遍歷待處理數據，判斷第一數組中與當前數據相對應位置是否存在標識，忽略已標識位置對應的當前數據，輸出未標識位置對應的當前數據為有效數據，并同時對第一數組對應位置進行標識；其中，每輸出一次有效數據，同步將當前有效數據按順序存儲至第二數組，并將計數值加一，以使第一數組和第二數組進行同步數據更新；
23、數據清空模塊，基于待處理數據的結束標識，用于根據第二數組中所存儲的若干個與計數值相對應的有效數據，完成第一數組中對應位置的標識清空，并同時將計數值歸零。
24、本專利技術還提供一種電子設備，包括存儲介質和處理器，所述存儲介質存儲有計算機程序，所述處理器執行所述計算機程序時實現上述去除方法。
25、本專利技術還提供一種計算機可讀存儲介質，包括計算機程序，所述計算機程序被處理器執行時實現上述去除方法。
26、本專利技術的有益效果是：
27、（1）本專利技術通過設置較大的第一數組，能夠充分完成所有待處理數據的去重處理，可以基于待處理數據中的坐標信息與第一數組中對應存儲位置的標識狀態進行數據是否重復的快速識別，并通過后續不斷補充標識的操作為后續去重識別提供數據基礎。由于第一數組的所有存儲位置均與待處理數據對應圖片數據中的所有像素位置一一對應，此時任意一個待處理數據均可以在第一數組中快速找到對應的存儲位置實現快速索引，從而快速確認是否為重復數據，去重速度快。而為了在完成去重后實現第一數組的快速清空，實現后續數據的持續去重，引入了第二數組以及計數值，根據第二數組中所存儲的若干個與計數值相對應的有效數據，便可以快速在第一數組中找到對應標識位置并完成清空，由于基于圖片尺寸確定的數據范圍通常要遠大于最終去重后的有效數據量，因此，第二數組往往可以設置為遠小于第一數組長度大小，在第一數組中只需進行少量的隨機讀取查找便可以實現快速清零，從而供后續數據持續進行數據去重。
28、（2）本專利技術通過判斷第一數組中與當前數據相對應位置是否為1可以基于二進制存儲，實現第一數組在去重過本文檔來自技高網...
【技術保護點】
1.一種重復數據去除方法，重復數據為經過線中心提取后的若干帶有位置信息的待處理數據，基于存儲空間對待處理數據進行識別并去除重復數據，從而得到有效數據，并在去除重復數據后完成存儲空間的清空，其特征在于，去除方法包括：
2.根據權利要求1所述的一種重復數據去除方法，其特征在于，線中心提取包括：
3.根據權利要求1所述的一種重復數據去除方法，其特征在于，第一數組的大小與待處理數據的數據范圍相對應。
4.根據權利要求1所述的一種重復數據去除方法，其特征在于，計算順序讀取和隨機讀取的速度比值，以作為第一數組與第二數組的長度比值。
5.根據權利要求1-4任一項所述的一種重復數據去除方法，其特征在于，判斷第一數組中與當前數據相對應位置是否存在標識包括：
6.根據權利要求5所述的一種重復數據去除方法，其特征在于，完成第一數組中對應位置的標識清空包括：當識別到結束標識時，判斷計數值是否超過第二數組的大小：
7.根據權利要求6所述的一種重復數據去除方法，其特征在于，計數值歸零后，重新接收新的待處理數據，重復上述步驟并依次循環。<...
【技術特征摘要】
1.一種重復數據去除方法，重復數據為經過線中心提取后的若干帶有位置信息的待處理數據，基于存儲空間對待處理數據進行識別并去除重復數據，從而得到有效數據，并在去除重復數據后完成存儲空間的清空，其特征在于，去除方法包括：
2.根據權利要求1所述的一種重復數據去除方法，其特征在于，線中心提取包括：
3.根據權利要求1所述的一種重復數據去除方法，其特征在于，第一數組的大小與待處理數據的數據范圍相對應。
4.根據權利要求1所述的一種重復數據去除方法，其特征在于，計算順序讀取和隨機讀取的速度比值，以作為第一數組與第二數組的長度比值。
5.根據權利要求1-4任一項所述的一種重復數據去除方法，其特征在于，判斷第一數組中與當前數據相對應位置是否...
【專利技術屬性】
技術研發人員：王中天，邵云峰，曹桂平，董寧，
申請(專利權)人：合肥埃科光電科技股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。