【技術實現步驟摘要】
本申請涉及遙感衛星，具體涉及一種混傳模式下基于flink的衛星原始數據預處理方法和裝置。
技術介紹
1、部分遙感衛星，例如gf5、gf7、dq等混傳模式的衛星，一般采用雙通道極化復用方式進行對地數據傳輸，由于各載荷數據的記錄速率不同、記錄數據在回放時分配的通道不固定、且兩個通道啟動傳輸的時刻也有細微差別，因此，兩個通道中傳輸數據幀的數據類型（虛擬信道）和排序方式（vcdu計數）均不固定，即“數據混傳”。在此傳輸特性下，地面進行數據處理時，需要完成大量數據處理工作。
2、然而，傳統的遙感數據預處理方法需要等待整軌衛星軌道數據傳輸至地面站之后，再對該整軌衛星軌道數據進行處理，造成當前衛星遙感數據的處理延遲高。
技術實現思路
1、為此，本申請提供一種混傳模式下基于flink的衛星原始數據預處理方法和裝置，以解決現有技術中由于需要等待整軌衛星軌道數據傳輸至地面站之后才能進行數據預處理造成的衛星遙感數據預處理延遲高的問題。
2、為了實現上述目的，本申請第一方面提供一種混傳模式下基于flink的衛星原始數據預處理方法，該方法包括：實時獲取衛星原始碼流數據；衛星原始碼流數據包括第一通道數據和第二通道數據；基于flink中的流合并算子，合并第一通道數據和第二通道數據，獲得合并數據；第一通道數據和第二通道數據均包括多個數據包；在基于合并數據輸出數據包的過程中，基于flink中的數據同步算子，控制第一數據包消費量和第二數據包消費量差值的絕對值不大于第一閾值；第一數據包消費量用于
3、根據第一方面，或者以上第一方面的任意一種實現方式，在基于合并數據輸出數據包的過程中，基于flink中的數據同步算子，控制第一數據包消費量和第二數據包消費量差值的絕對值不大于第一閾值，包括：針對第一通道數據和第二通道數據，分別執行數據包傳輸控制操作；數據包傳輸控制操作包括：在接收到數據包時，確定對應的緩存隊列是否為空；在對應的緩存隊列不為空的情況下，將數據包添加到對應的緩存隊列，以及，在該數據包不是最后一個數據包的情況下，返回在接收到數據包時，確定對應的緩存隊列是否為空的步驟；在對應的緩存隊列為空的情況下，確定另一個通道數據對應的緩存隊列是否為空；在另一個通道數據對應的緩存隊列不為空的情況下，輸出數據包和另一個通道數據對應的緩存隊列中的第一個數據包，以及，在該數據包不是最后一個數據包的情況下，返回在接收到數據包時，確定對應的緩存隊列是否為空的步驟。
4、根據第一方面，或者以上第一方面的任意一種實現方式，數據包傳輸控制操作還包括：在另一個通道數據對應的緩存隊列為空的情況下，確定所屬通道數據的數據包消費量與另一個通道數據的數據包消費量之差是否大于或等于第一閾值，以及確定另一個通道數據的數據包是否輸出結束；在所屬通道數據的數據包消費量與另一個通道數據的數據包消費量之差大于或等于第一閾值，且另一個通道數據的數據包未輸出結束的情況下，將數據包添加到對應的緩存隊列，并在該數據包不是最后一個數據包的情況下，返回在接收到數據包時，確定對應的緩存隊列是否為空的步驟；在所屬通道數據的數據包消費量與另一個通道數據的數據包消費量之差小于第一閾值的情況下，或者，在確定另一個通道數據的數據包輸出結束的情況下，輸出數據包，以及，在該數據包不是最后一個數據包的情況下，返回在接收到數據包時，確定對應的緩存隊列是否為空的步驟。
5、根據第一方面，基于flink中的預處理算子，對輸出的每個數據包進行數據包預處理，獲得多組aos幀數據，包括：針對輸出的每個數據包：對數據包進行解交織處理，獲得i路數據和q路數據；基于iq路擾碼初態對i路數據和q路數據進行解擾，獲得aos幀數據；aos幀數據包括虛擬信道標識符；基于虛擬信道標識符對aos幀數據進行分組。
6、根據第一方面，在達到預設條件的情況下，對緩存區緩存的aos幀數據進行排序，包括：在緩存的aos幀數據的數據量等于或大于第二閾值的情況下，對緩存區緩存的aos幀數據進行排序；或者，在衛星原始碼流數據傳輸結束的情況下，對緩存區緩存的aos幀數據進行排序。
7、根據第一方面，或者以上第一方面的任意一種實現方式，aos幀數據包含類對象，類對象至少包括幀計數和有效數據；對緩存區緩存的aos幀數據進行排序，包括：按照幀計數由小到大的順序，對aos幀數據對應的類對象進行排序。
8、根據第一方面，或者以上第一方面的任意一種實現方式，在衛星原始碼流數據傳輸結束的情況下，對緩存區緩存的aos幀數據進行排序之后，部分或全部輸出排序后的aos幀數據，包括：按照排序順序，輸出全部aos幀數據對應的類對象。
9、根據第一方面，或者以上第一方面的任意一種實現方式，在緩存的aos幀數據的數據量等于或大于第二閾值的情況下，對緩存區緩存的aos幀數據進行排序之后，部分或全部輸出排序后的aos幀數據，包括：按照排序順序，輸出排在前預設百分比的類對象。
10、根據第一方面，或者以上第一方面的任意一種實現方式，按照排序順序，輸出排在前預設百分比的類對象，包括：基于排序順序，檢測是否存在幀計數重置；在不存在幀計數重置的情況下，按照排序順序，輸出排在前預設百分比的類對象；在存在幀計數重置的情況下，確定第一部分是否滿足全部輸出的條件；第一部分為幀計數未重置的aos幀數據對應的類對象；在第一部分滿足全部輸出的條件時，按照第一部分的排序順序，輸出第一部分包含的全部類對象；在第一部分不滿足全部輸出的條件時，按照第一部分的排序順序，輸出第一部分中排在前預設百分比的類對象。
11、根據第一方面，或者以上第一方面的任意一種實現方式，基于排序順序，檢測是否存在幀計數重置，包括：檢測相鄰類對象包含的幀計數之差是否大于計數閾值；在存在相鄰類對象包含的幀計數之差大于計數閾值的情況下，確定存在幀計數重置。
12、根據第一方面，或者以上第一方面的任意一種實現方式，檢測相鄰類對象包含的幀計數之差是否大于計數閾值，包括：將排序在前預設位與排序在后預設位的類對象除外，檢測其余相鄰類對象包含的幀計數之差是否大于計數閾值。
13、本申請第二方面提供一種混傳模式下基于flink的衛星原始數據預處理裝置，該裝置包括：獲取模塊，用于實時獲取衛星原始碼流數據；衛星原始碼流數據包括第一通道數據和第二通道數據；合并模塊，用于基于flink中的流合并算子，合并第一通道數據和第二通道數據，獲得合并數據；第一通道本文檔來自技高網...
【技術保護點】
1.一種混傳模式下基于Flink的衛星原始數據預處理方法，其特征在于，所述方法包括：
2.根據權利要求1所述的混傳模式下基于Flink的衛星原始數據預處理方法，其特征在于，在基于所述合并數據輸出數據包的過程中，基于所述Flink中的數據同步算子，控制第一數據包消費量和第二數據包消費量差值的絕對值不大于第一閾值，包括：
3.根據權利要求2所述的混傳模式下基于Flink的衛星原始數據預處理方法，其特征在于，所述數據包傳輸控制操作還包括：
4.根據權利要求1所述的混傳模式下基于Flink的衛星原始數據預處理方法，其特征在于，所述基于Flink中的預處理算子，對輸出的每個數據包進行數據包預處理，獲得多組AOS幀數據，包括：
5.根據權利要求1所述的混傳模式下基于Flink的衛星原始數據預處理方法，其特征在于，所述在達到預設條件的情況下，對所述緩存區緩存的AOS幀數據進行排序，包括：
6.根據權利要求5所述的混傳模式下基于Flink的衛星原始數據預處理方法，其特征在于，所述AOS幀數據包含類對象，所述類對象至少包括幀計數和有效數據
7.根據權利要求6所述的混傳模式下基于Flink的衛星原始數據預處理方法，其特征在于，在所述衛星原始碼流數據傳輸結束的情況下，對所述緩存區緩存的AOS幀數據進行排序之后，所述部分或全部輸出排序后的AOS幀數據，包括：
8.根據權利要求6所述的混傳模式下基于Flink的衛星原始數據預處理方法，其特征在于，在緩存的所述AOS幀數據的數據量等于或大于第二閾值的情況下，對所述緩存區緩存的AOS幀數據進行排序之后，所述部分或全部輸出排序后的AOS幀數據，包括：
9.根據權利要求8所述的混傳模式下基于Flink的衛星原始數據預處理方法，其特征在于，所述按照排序順序，輸出排在前預設百分比的所述類對象，包括：
10.根據權利要求9所述的混傳模式下基于Flink的衛星原始數據預處理方法，其特征在于，所述基于排序順序，檢測是否存在幀計數重置，包括：
...【技術特征摘要】
1.一種混傳模式下基于flink的衛星原始數據預處理方法，其特征在于，所述方法包括：
2.根據權利要求1所述的混傳模式下基于flink的衛星原始數據預處理方法，其特征在于，在基于所述合并數據輸出數據包的過程中，基于所述flink中的數據同步算子，控制第一數據包消費量和第二數據包消費量差值的絕對值不大于第一閾值，包括：
3.根據權利要求2所述的混傳模式下基于flink的衛星原始數據預處理方法，其特征在于，所述數據包傳輸控制操作還包括：
4.根據權利要求1所述的混傳模式下基于flink的衛星原始數據預處理方法，其特征在于，所述基于flink中的預處理算子，對輸出的每個數據包進行數據包預處理，獲得多組aos幀數據，包括：
5.根據權利要求1所述的混傳模式下基于flink的衛星原始數據預處理方法，其特征在于，所述在達到預設條件的情況下，對所述緩存區緩存的aos幀數據進行排序，包括：
6.根據權利要求5所述的混傳模式下基于flink的衛星原始數據預處理方法...
【專利技術屬性】
技術研發人員：何林，孫驍，齊建超，李帥，張群燕，馬若琳，
申請(專利權)人：中國四維測繪技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。