【技術實現步驟摘要】
本公開涉及計算機，具體涉及一種數據分析方法、數據分析系統、存儲介質、計算機程序產品、電子設備。
技術介紹
1、隨著互聯網、計算機技術的快速發展，金融、電商等行業的交易數據量大幅提高；對應的數據分析需求也逐步提高。以金融行業為例，需要對海量的交易數據進行精確分析，為金融機構的風險評估和決策提供數據支持。但是，傳統的數據分析方法在面對大規模數據、復雜查詢需求和高吞吐量場景時，往往因性能瓶頸而受限，難以實現高效擴展，從而對業務推進構成挑戰。
2、需要說明的是，在上述
技術介紹
部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。
技術實現思路
1、本公開提供一種數據分析方法及系統、一種存儲介質、一種計算機程序產品，以及一種電子設備，能夠有效克服現有技術中存在的缺陷。
2、本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。
3、根據本公開的第一方面，提供一種數據分析方法，所述方法包括：
4、根據目標業務預配置的數據抽取策略，向目標數據源提取所述目標業務對應的原始數據，將所述原始數據加載至數據倉庫的操作數據存儲層并存儲；
5、所述操作數據存儲層將所述原始數據輸出至明細數據層；所述明細數據層對所述原始數據進行數據預處理以獲取基礎數據，并將所述基礎數據輸出至匯總數據層；
6、所述匯總數據層根據所述目標業務對應的當前數據處理任務對所述基礎數據進
7、所述應用數據服務層根據所述當前數據處理任務對應的業務配置信息對所述結構化數據進行數據分析，并輸出對應的數據分析結果。
8、在一些示例性實施方式中，所述方法還包括：
9、基于所述數據明細層構建維度數據集市層，并在所述維度數據集市層存儲所述目標業務對應的公共數據；其中，所述公共數據可復用至所述應用數據服務層。
10、在一些示例性實施方式中，所述方法還包括：
11、利用hive數據倉庫工具構建基于hadoop分布式結構的所述操作數據存儲層；
12、基于doris數據庫構建所述明細數據層、匯總數據層、維度數據集市層。
13、在一些示例性實施方式中，所述原始數據包括所述目標業務對應的非實時數據、實時數據；
14、所述根據目標業務預配置的數據抽取策略，向目標數據源提取所述目標業務對應的原始數據，包括：
15、調用etl?cloud工具根據所述數據抽取策略向目標數據源獲取所述非實時數據；以及
16、調用flink?cdc工具根據所述數據抽取策略所述實時數據；所述目標數據源包括業務數據。
17、在一些示例性實施方式中，所述非實時數據對應的所述數據抽取策略包括自定義的：數據源目錄、數據轉換配置信息、數據加載配置信息；
18、所述方法還包括：
19、響應于圖形用戶界面輸入的應用創建操作，創建所述目標業務對應的elt流程；
20、根據輸入的數據源類型、數據源配置信息配置數據源目錄，以用于根據所述數據源目錄進行數據抽取；
21、根據所述目標業務對應的數據要求配置至少一個數據處理節點，以根據所述數據處理節點確定所述數據轉換配置信息；其中，所述數據處理節點包括：數據清洗、數據轉換、數據過濾、格式化、字段配置中的至少一項；
22、根據輸出組件信息、數據輸出路徑信息確定所述數據加載配置信息。
23、在一些示例性實施方式中，所述方法還包括：
24、在源數據庫開啟binlog日志文件并添加對應的配置信息，以用于將所述binlog日志文件配置為數據源，并由所述數據源實時抽取所述原始數據；
25、通過flink?cdc工具建立數據倉庫中數據庫的目標數據表對應的第一映射表，以及所述源數據庫對應的第二映射表；并建立所述第一映射表與所述第二映射表的映射關系；
26、基于所述flink?cdc工具的數據轉換配置信息對抽取的所述原始數據進行數據清洗和/或轉換處理；
27、基于所述映射關系對數據清洗和/或轉換處理的所述原始數據進行同步數據同步處理。
28、在一些示例性實施方式中，所述方法還包括：
29、接收數據查詢請求；
30、將所述數據查詢請求轉換為結構化查詢語句并進行分解處理，以獲取多個子查詢語句；
31、將所述多個子查詢語句分配至所述數據倉庫對應的分布式存儲節點，以用于各所述分布式存儲節點處理所述子查詢語句。
32、在一些示例性實施方式中，所述明細數據層對所述原始數據進行數據預處理以獲取基礎數據，包括：
33、根據所述目標業務的數據分析對象對應的目標字段、目標字段對應的數據類型，構建對應的數據表模型；
34、基于所述數據表模型對所述原始數據進行預處理，以獲取所述基礎數據。
35、根據本公開的第二方面，提供一種數據分析系統，包括：
36、數據抽取模塊，用于根據目標業務預配置的數據抽取策略，向目標數據源提取所述目標業務對應的原始數據，將所述原始數據加載至數據倉庫的操作數據存儲層并存儲；
37、數據倉庫，用于所述操作數據存儲層將所述原始數據輸出至明細數據層；所述明細數據層對所述原始數據進行數據預處理以獲取基礎數據，并將所述基礎數據輸出至匯總數據層；所述匯總數據層根據所述目標業務對應的當前數據處理任務對所述基礎數據進行聚合處理，獲取所述目標業務對應的結構化數據，并輸出至應用數據服務層；所述應用數據服務層根據所述當前數據處理任務對應的業務配置信息對所述結構化數據進行數據分析，并輸出對應的數據分析結果。
38、根據本公開的第三方面，提供一種存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現上述的數據分析方法。
39、根據本公開的第四方面，提供一種電子設備，包括：
40、處理器；以及
41、存儲器，用于存儲所述處理器的可執行指令；
42、其中，所述處理器配置為經由執行所述可執行指令時實現上述的數據分析方法。
43、根據本公開的第五方面，提供一種計算機程序產品，其上存儲有計算機程序，計算機程序被處理器執行時實現上述的數據分析方法。
44、本公開的實施例所提供的數據分析方法，通過預先配置數據抽取策略，能夠實現對業務數據的自動化抽取、轉換與存儲，并能夠實現對實時數據的實時抓取，利用數據倉庫的操作數據存儲層、明細數據層、匯總數據層、應用數據服務層來實現對數據的分層管理策略，建立嚴格的質量控制體系，確保數據的準確性和完整性，有效防止數據污染和泄露，增強數據資產的可信度。進而實現對于數據高效、準確的管理與分析。
45、應當理解的是，以上的一般描述和后文的細本文檔來自技高網...
【技術保護點】
1.一種數據分析方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述方法還包括：
3.根據權利要求1所述的方法，其特征在于，所述方法還包括：
4.根據權利要求1所述的方法，其特征在于，所述原始數據包括所述目標業務對應的非實時數據、實時數據；
5.根據權利要求4所述的方法，其特征在于，所述非實時數據對應的所述數據抽取策略包括自定義的：數據源目錄、數據轉換配置信息、數據加載配置信息；
6.根據權利要求4所述的方法，其特征在于，所述方法還包括：
7.根據權利要求1所述的方法，其特征在于，所述方法還包括：
8.根據權利要求1所述的方法，其特征在于，所述明細數據層對所述原始數據進行數據預處理以獲取基礎數據，包括：
9.一種數據分析系統，其特征在于，包括：
10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至8中任一項所述的數據分析方法。
【技術特征摘要】
1.一種數據分析方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述方法還包括：
3.根據權利要求1所述的方法，其特征在于，所述方法還包括：
4.根據權利要求1所述的方法，其特征在于，所述原始數據包括所述目標業務對應的非實時數據、實時數據；
5.根據權利要求4所述的方法，其特征在于，所述非實時數據對應的所述數據抽取策略包括自定義的：數據源目錄、數據轉換配置信息、數據加載配置信息；<...
【專利技術屬性】
技術研發人員：陳宇祥，王仁斌，林鎮榮，王志永，朱振水，高素華，
申請(專利權)人：廈門市美亞柏科信息安全研究所有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。