System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術涉及大數據處理,尤其涉及一種針對時空數據的流批一體處理方法及系統。
技術介紹
1、目前,現有技術中的批流一體的數據處理系統包括:前端交互子系統,用于支持管理員配置組件模型,組件模型用于定義數據讀取、數據處理和數據寫入的規則,用于支持用戶基于組件模型配置任務并提交任務請求;配置庫,用于存儲組件模型以及配置的任務;后端服務子系統,用于基于任務請求執行任務并監視任務運行,生成任務運行新型和異常告警,用于返回任務運行信息以及異常告警,后端服務子系統的處理邏輯為:以流處理為處理邏輯、批作為流的一種特例存在,當有批數據流入時,通過時間窗口將批數據轉為流數據。但是,這種批流一體的處理技術大都是針對通用數據的,難以對動態數據進行有效地處理,而時空數據是一種特殊的動態數據,因此,亟需一種針對時空數據的流批一體處理方法。
技術實現思路
1、本專利技術提供了一種針對時空數據的流批一體處理方法及系統,以解決現有技術中存在的問題。
2、為了實現上述目的,本專利技術通過如下的技術方案來實現:
3、第一方面,本專利技術提供一種針對時空數據的流批一體處理方法,包括:
4、s1:確定時空數據的結構,所述結構包括對象編號和在t時刻的位置;
5、s2:根據所述對象編號和位置執行時空數據流處理步驟以及時空數據批處理步驟。
6、第二方面,本申請提供一種針對時空數據的流批一體處理系統,包括存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序,所述
7、有益效果:
8、本專利技術提供的針對時空數據的流批一體處理方法,首先確定時空數據的結構,該結構包括對象編號和在t時刻的位置;根據對象編號和位置執行時空數據流處理步驟以及時空數據批處理步驟,這樣,將時空對象轉換為唯一標識,這使得流計算獲得了唯一流轉能力,且批處理中利用格雷碼構建二維空間,使得批處理的每個批次有了依據更加合理的利用了時空特性,具有高效性。這樣,可以對具有特殊性的時空數據進行高效的處理。
本文檔來自技高網...【技術保護點】
1.一種針對時空數據的流批一體處理方法,其特征在于,包括:
2.根據權利要求1所述的針對時空數據的流批一體處理方法,其特征在于,所述S1之前,所述方法還包括:
3.根據權利要求1所述的針對時空數據的流批一體處理方法,其特征在于,所述S1包括:
4.一種針對時空數據的流批一體處理系統,包括存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序,其特征在于,所述處理器執行所述計算機程序時實現上述權利要求1至3中任一項所述方法的步驟。
【技術特征摘要】
1.一種針對時空數據的流批一體處理方法,其特征在于,包括:
2.根據權利要求1所述的針對時空數據的流批一體處理方法,其特征在于,所述s1之前,所述方法還包括:
3.根據權利要求1所述的針對時空數據的流批一體處理方法...
【專利技術屬性】
技術研發人員:夏東,
申請(專利權)人:湖南視覺偉業智能科技有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。