System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請涉及數據處理,尤其涉及一種數據庫模型開發方法、裝置、電子設備及存儲介質。
技術介紹
1、目前市面上的大數據開發工具主要有兩類,一類以hadoop生態基礎為體系,包含spark、hive等,用戶在選擇模型開發時需要選擇hadoop生態開發對應的數據庫模型,因此在模型的選擇上多有掣肘,而另一類在hadoop生態外還包含了更加多元的自研大數據產品,如dataworks等,這些自研的大數據存儲需要綁定本身的產品使用,如maxcompute底層存儲平臺或bytehouse數據庫。綜上,這些數據庫模型開發工具均未聚焦于olap(onlineanalytical?processing,聯機分析處理)大數據分析領域,無法支持當前主流的olap引擎如clickhouse/kylin/starrocks/gauss200在不同業務場景下的數據庫模型開發。
2、因此,如何實現支持不同olap引擎在不同業務場景下進行數據庫模型開發,是目前亟需解決的一個問題。
技術實現思路
1、本申請的主要目的在于提供一種數據庫模型開發方法、裝置、電子設備及存儲介質,旨在解決如何實現支持不同olap引擎在不同業務場景下進行數據庫模型開發的技術問題。
2、為實現上述目的,本申請提出一種數據庫模型開發方法,所述數據庫模型開發方法包括:
3、響應于數據庫模型開發需求的選擇操作,確定開發的業務場景信息,以及目標業務平臺,并獲取所述目標業務平臺的業務數據;
4、根據所述業務場景信
5、通過所述目標引擎處理所述業務數據,形成所述目標業務平臺對應的數據庫模型。
6、在一實施例中,所述根據所述業務場景信息確定多個預設建模引擎中的目標引擎的步驟包括:
7、根據所述業務場景信息確定多個預設建模引擎中的各候選引擎;
8、輸出各候選引擎,將被選定的候選引擎作為所述目標引擎。
9、在一實施例中,所述通過所述目標建模引擎處理所述業務數據,形成所述目標業務平臺對應的數據庫模型的步驟包括:
10、根據所述目標建模引擎中的目標集群確定所述數據庫模型的待配置項,并通過所述目標建模引擎根據所述待配置項提取所述業務數據中的目標數據;
11、通過所述目標建模引擎將所述目標數據加載至所述待配置項,形成所述數據庫模型。
12、在一實施例中,所述根據所述目標建模引擎中的目標集群確定所述數據庫模型的待配置項的步驟之前還包括:
13、獲取所述目標引擎所關聯的各集群的指標數據;
14、根據所述指標數據確定所述各集群中的目標集群,并將所述目標集群配置至所述目標引擎。
15、在一實施例中,所述數據庫模型開發方法還包括:
16、在接收到對所述數據庫模型進行調整的模型調整任務后,對所述模型調整任務進行權限校驗;
17、在所述模型調整任務權限校驗通過的情況下,根據所述模型調整任務調整所述數據庫模型。
18、在一實施例中,所述模型調整任務包括數據遷移任務、數據補充任務和數據修改任務,其中,所述數據遷移任務為將所述數據庫模型的模型數據遷移至目標數據庫模型,所述數據補充任務為向所述數據庫模型中添加新的業務數據,所述數據修改任務為修改所述數據庫模型的模型數據;
19、所述根據所述模型調整任務調整所述數據庫模型的步驟包括:
20、在所述模型調整任務為所述數據遷移任務的情況下,獲取所述數據遷移任務中配置的數據篩選條件,并基于所述數據篩選條件篩選所述數據庫模型的模型數據;基于所述目標數據庫模型確定多個預設建模引擎中的遷移引擎,并通過所述遷移模型處理篩選后的模型數據,得到所述目標數據庫模型;
21、在所述模型調整任務為所述數據補充任務的情況下,基于所述數據補充任務中配置的數據補充范圍,從所述目標業務平臺中提取待補充業務數據,并根據所述待補充業務數據添加至所述數據庫模型;
22、在所述模型調整任務為所述數據修改任務的情況下,根據所述數據修改任務中配置的待修改數據對所述數據庫模型進行更新。
23、在一實施例中,所述獲取所述目標業務平臺的業務數據的步驟之前還包括:
24、將聯機事務處理oltp數據庫中的源數據,轉換為預設標準格式的數據合集,并將所述數據合集傳輸至所述目標業務平臺,以將所述數據合集作為所述目標業務平臺的業務數據。
25、此外,為實現上述目的,本申請還提出一種數據庫模型開發裝置,所述數據庫模型開發裝置包括:
26、響應模塊,用于響應于數據庫模型開發需求的選擇操作,確定開發的業務場景信息,以及目標業務平臺,并獲取所述目標業務平臺的業務數據;
27、確定模塊,用于根據所述業務場景信息確定多個預設建模引擎中的目標引擎;
28、處理模塊,用于通過所述目標引擎處理所述業務數據,形成所述目標業務平臺對應的數據庫模型。
29、此外,為實現上述目的,本申請還提出一種電子設備,所述設備包括:存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序,所述計算機程序配置為實現如上文所述的數據庫模型開發方法的步驟。
30、此外,為實現上述目的,本申請還提出一種存儲介質,所述存儲介質為計算機可讀存儲介質,所述存儲介質上存儲有計算機程序,所述計算機程序被處理器執行時實現如上文所述的數據庫模型開發方法的步驟。
31、此外,為實現上述目的,本申請還提供一種計算機程序產品,所述計算機程序產品包括計算機程序,所述計算機程序被處理器執行時實現如上文所述的數據庫模型開發方法的步驟。
32、本申請提出的一個或多個技術方案,至少具有以下技術效果:
33、本申請首先響應于數據庫模型開發需求的選擇操作,確定開發的業務場景信息,以及目標業務平臺,并獲取所述目標業務平臺的業務數據,實現了對業務場景和模型開發需求的理解,以及業務數據的初步采集,為后續模型開發提供了可靠的基礎信息,同時確保了數據庫模型開發過程以實際業務需求為導向,從而提高了數據庫模型的適用性和實用性;根據所述業務場景信息確定多個預設建模引擎中的目標引擎,實現了針對特定業務場景選擇最合適的建模引擎,確保了數據庫模型開發的靈活性和針對性;通過所述目標引擎處理所述業務數據,形成所述目標業務平臺對應的數據庫模型,實現了利用選定的建模引擎對業務數據進行處理,最終生成了與目標業務平臺相匹配的數據庫模型,達到了滿足特定業務需求的效果。
34、綜上可知,本申請優化了數據庫模型開發的流程,通過在用戶選擇數據源頭即目標業務平臺,以及業務場景填寫后,根據業務場景自動選擇最合適的建模引擎,并通過該引擎處理業務數據,生成與目標業務平臺匹配的數據庫模型,避免了傳統數據庫模型開發工具無法針對特定業務場景和特定數據平臺靈活選擇和配置建模引擎的問題,實現支持不同olap引擎在不同業務場景下進本文檔來自技高網...
【技術保護點】
1.一種數據庫模型開發方法,其特征在于,所述數據庫模型開發方法包括:
2.如權利要求1所述的數據庫模型開發方法,其特征在于,所述根據所述業務場景信息確定多個預設建模引擎中的目標引擎的步驟包括:
3.如權利要求1所述的數據庫模型開發方法,其特征在于,所述通過所述目標建模引擎處理所述業務數據,形成所述目標業務平臺對應的數據庫模型的步驟包括:
4.如權利要求3所述的數據庫模型開發方法,其特征在于,所述根據所述目標建模引擎中的目標集群確定所述數據庫模型的待配置項的步驟之前還包括:
5.如權利要求1所述的數據庫模型開發方法,其特征在于,所述數據庫模型開發方法還包括:
6.如權利要求5所述的數據庫模型開發方法,其特征在于,所述模型調整任務包括數據遷移任務、數據補充任務和數據修改任務,其中,所述數據遷移任務為將所述數據庫模型的模型數據遷移至目標數據庫模型,所述數據補充任務為向所述數據庫模型中添加新的業務數據,所述數據修改任務為修改所述數據庫模型的模型數據;
7.如權利要求1所述的數據庫模型開發方法,其特征在于,所述獲取所述
8.一種數據庫模型開發裝置,其特征在于,所述數據庫模型開發裝置包括:
9.一種電子設備,其特征在于,所述設備包括:存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序,所述計算機程序配置為實現如權利要求1至7中任一項所述的數據庫模型開發方法的步驟。
10.一種存儲介質,其特征在于,所述存儲介質為計算機可讀存儲介質,所述存儲介質上存儲有計算機程序,所述計算機程序被處理器執行時實現如權利要求1至7中任一項所述的數據庫模型開發方法的步驟。
...【技術特征摘要】
1.一種數據庫模型開發方法,其特征在于,所述數據庫模型開發方法包括:
2.如權利要求1所述的數據庫模型開發方法,其特征在于,所述根據所述業務場景信息確定多個預設建模引擎中的目標引擎的步驟包括:
3.如權利要求1所述的數據庫模型開發方法,其特征在于,所述通過所述目標建模引擎處理所述業務數據,形成所述目標業務平臺對應的數據庫模型的步驟包括:
4.如權利要求3所述的數據庫模型開發方法,其特征在于,所述根據所述目標建模引擎中的目標集群確定所述數據庫模型的待配置項的步驟之前還包括:
5.如權利要求1所述的數據庫模型開發方法,其特征在于,所述數據庫模型開發方法還包括:
6.如權利要求5所述的數據庫模型開發方法,其特征在于,所述模型調整任務包括數據遷移任務、數據補充任務和數據修改任務,其中,所述數據遷移任務...
【專利技術屬性】
技術研發人員:劉偉,
申請(專利權)人:招商銀行股份有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。