【技術實現步驟摘要】
本專利技術涉及機器學習，具體為一種綜合性的數據智能處理系統。
技術介紹
1、在現有技術中，針對數據處理與分析領域，盡管已存在多種數據處理框架和算法，但這些技術往往面臨數據孤島、處理效率低下、以及難以有效支持復雜異構數據統一處理的問題。例如，傳統數據倉庫技術雖能存儲結構化數據，但對半結構化和非結構化數據的處理顯得力不從心；而數據湖方案雖然提供了更廣泛的數據存儲能力，但在數據管理和分析效率上仍有待提升。此外，現有技術中的血緣分析功能通常不夠靈活和智能，無法高效追蹤數據流轉和變化。這些問題限制了數據價值的充分挖掘和利用。
技術實現思路
1、為了解決上述問題，本專利技術提供一種綜合性的數據智能處理系統，包括數據存儲與管理模塊、數據分析模塊，還包括：資源計算模塊、數據血緣分析模塊；所述數據存儲與管理模塊用于采集數據，并對采集到的數據進行存儲并管理；所述數據分析模塊用于對存儲的數據進行分析處理；所述資源計算模塊用于計算數據資源調用的最優解；所述數據血緣分析模塊用于分析數據的流轉和變化。
2、進一步地，所述數據血緣分析模塊中進行數據的流轉和變化主要包括以下步驟：a1.創建數據血緣分析任務；a2.對數據進行梳理、關聯并將梳理關聯后的數據進行存儲；a3.將分析后的數據血緣關系進行可視化。
3、進一步地，所述a2步驟中將梳理關聯后的數據進行存儲的存儲形式具體為圖數據庫，其中，將數據表或數據字段作為圖數據庫節點，數據表間關系或者數據字段間關系作為圖數據庫關系。
4、進
5、進一步地，所述數據存儲與管理模塊中進行采集數據主要通過api接口進行數據采集，所述api接口具體包括：數據中臺元數據api接口、數據中臺業務數據api接口。
6、進一步地，所述數據存儲與管理模塊中對采集到的數據進行管理具體包括：項目管理、集群管理、引擎管理；其中，所述引擎管理中管理的引擎具體包括：hadoop集群、oracle、gp。
7、進一步地，整體系統采用算存分離的方式，將數據存儲與資源計算分開進行并將數據存儲在多個節點上。
8、本專利技術提供了一種綜合性的數據智能處理系統，具有以下有益效果：
9、本專利技術旨在通過集成數據湖與數據倉庫的優勢，實現數據的統一存儲與管理；同時，利用存算分離技術和深度學習算法，優化數據處理流程，提升處理效率與準確性；此外，通過增強的血緣分析功能，實現對數據流轉和變化的精準追蹤，為企業提供更深入的數據洞察與決策支持。
本文檔來自技高網...【技術保護點】
1.一種綜合性的數據智能處理系統，包括數據存儲與管理模塊、數據分析模塊，其特征在于，還包括：資源計算模塊、數據血緣分析模塊；
2.根據權利要求1所述的綜合性的數據智能處理系統，其特征在于，所述數據血緣分析模塊中進行數據的流轉和變化主要包括以下步驟：A1.創建數據血緣分析任務；A2.對數據進行梳理、關聯并將梳理關聯后的數據進行存儲；A3.將分析后的數據血緣關系進行可視化。
3.根據權利要求2所述的綜合性的數據智能處理系統，其特征在于，所述A2步驟中將梳理關聯后的數據進行存儲的存儲形式具體為圖數據庫，其中，將數據表或數據字段作為圖數據庫節點，數據表間關系或者數據字段間關系作為圖數據庫關系。
4.根據權利要求2所述的綜合性的數據智能處理系統，其特征在于，所述A3步驟中可視化的數據血緣關系具體包括：上下游層級信息、向前追溯至源頭信息、向后追溯數據信息、關系圖譜。
5.根據權利要求1所述的綜合性的數據智能處理系統，其特征在于，所述數據存儲與管理模塊中進行采集數據主要通過API接口進行數據采集，所述API接口具體包括：數據中臺元數據API接口、
6.根據權利要求5所述的綜合性的數據智能處理系統，其特征在于，所述數據存儲與管理模塊中對采集到的數據進行管理具體包括：項目管理、集群管理、引擎管理；其中，所述引擎管理中管理的引擎具體包括：Hadoop集群、Oracle、GP。
7.根據權利要求1所述的綜合性的數據智能處理系統，其特征在于，整體系統采用算存分離的方式，將數據存儲與資源計算分開進行并將數據存儲在多個節點上。
...【技術特征摘要】
1.一種綜合性的數據智能處理系統，包括數據存儲與管理模塊、數據分析模塊，其特征在于，還包括：資源計算模塊、數據血緣分析模塊；
2.根據權利要求1所述的綜合性的數據智能處理系統，其特征在于，所述數據血緣分析模塊中進行數據的流轉和變化主要包括以下步驟：a1.創建數據血緣分析任務；a2.對數據進行梳理、關聯并將梳理關聯后的數據進行存儲；a3.將分析后的數據血緣關系進行可視化。
3.根據權利要求2所述的綜合性的數據智能處理系統，其特征在于，所述a2步驟中將梳理關聯后的數據進行存儲的存儲形式具體為圖數據庫，其中，將數據表或數據字段作為圖數據庫節點，數據表間關系或者數據字段間關系作為圖數據庫關系。
4.根據權利要求2所述的綜合性的數據智能處理系統，其特征在于，所述a3步驟中可視...
【專利技術屬性】
技術研發人員：王海明，王明明，蒲成林，
申請(專利權)人：啟明信息技術股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。