【技術實現步驟摘要】
本申請涉及數據處理，尤其涉及一種數據導入方法、裝置、計算機設備及計算機可讀存儲介質。
技術介紹
1、starrocks是一種開源的新一代極速全場景mpp數據庫，其采用了彈性mpp架構，可以高效支持大數據量級的多維分析、實時分析、高并發分析等多種數據分析場景。
2、starrocks數據庫提供了基于mysql協議的broker?loa導入方式，其可以方便用戶將大批量數據從hdfs(hadoop?distributed?file?system，分布式文件系統)導入至starrocks數據庫中。broker?loa可以支持一次導入多個數據文件，并且能夠保證單次導入事務的原子性，即單次導入的多個數據文件都成功或者都失敗，進而不會出現部分導入成功、部分導入失敗的情況。雖然broker?loa導入方式高效，但是starrocks數據庫不支持broker?loa導入任務的自動生成，而且當存在大批量的表，如百、千張表需要導入至starrocks數據庫中時，需要投入大量人力與時間對broker?loa導入任務進行開發，效率較低。
技術實現思路
1、針對現有技術的不足，本申請提供了一種數據導入方法、裝置、計算機設備及計算機可讀存儲介質，旨在解決現有技術中數據導入的效率較低的技術問題。
2、為解決上述問題，第一方面，本申請實施例提供了一種數據導入方法，其包括：
3、根據預設的數據庫的導入任務的參數以及所述導入任務的模板生成執行所述導入任務的第一sql語句，并將所述第一
4、與所述數據庫建立連接，得到操作所述數據庫的游標對象；
5、在所述導入任務的模板中生成所述導入任務的目標日期分區名稱集合和目標日期分區值集合；
6、基于所述游標對象，根據所述導入任務的目標日期分區名稱集合和目標日期分區值集合查詢所述數據庫，以獲取所述導入任務的目標導入表的目標列名集合；
7、根據所述數組變量、所述目標日期分區名稱集合、所述目標日期分區值集合以及所述目標列名集合生成所述導入任務，并將所述導入任務輸入至所述數據庫中，以在所述數據庫中執行所述導入任務，以實現將目標數據導入至所述數據庫中。
8、第二方面，本申請實施例還提供了一種數據導入裝置，其包括：
9、第一生成單元，用于根據預設的數據庫的導入任務的參數以及所述導入任務的模板生成執行所述導入任務的第一sql語句，并將所述第一sql語句填充至預設的數組變量中；
10、連接單元，用于與所述數據庫建立連接，得到操作所述數據庫的游標對象；
11、第二生成單元，用于在所述導入任務的模板中生成所述導入任務的目標日期分區名稱集合和目標日期分區值集合；
12、獲取單元，用于基于所述游標對象，根據所述導入任務的目標日期分區名稱集合和目標日期分區值集合查詢所述數據庫，以獲取所述導入任務的目標導入表的目標列名集合；
13、第三生成單元，用于根據所述數組變量、所述目標日期分區名稱集合、所述目標日期分區值集合以及所述目標列名集合生成所述導入任務，并將所述導入任務輸入至所述數據庫中，以在所述數據庫中執行所述導入任務，以實現將目標數據導入至所述數據庫中。
14、第三方面，本申請實施例又提供了一種計算機設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其中，所述處理器執行所述計算機程序時實現如上述第一方面所述的數據導入方法。
15、第四方面，本申請實施例還提供了一種計算機可讀存儲介質，其中所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序當被處理器執行時使所述處理器執行上述第一方面所述的數據導入方法。
16、本申請實施例提供的數據導入方法、裝置、計算機設備及計算機可讀存儲介質，該方法采用數據庫的導入任務的參數以及初始模板來生成導入任務的目標模板，然后對目標模板進行解析，并將將從目標模板中解析出的目標sql語句填充至預設的數組變量中，之后便可以與數據庫建立連接并開啟操作數據庫的游標，并在導入任務的模板中生成導入任務的目標日期分區名稱集合和目標日期分區值集合，同時通過游標從數據庫中獲取導入任務的目標數據導入表的目標列名集合，進而便可以實現生成導入任務，從而快速實現將大批量的數據快速導入至數據庫中，極大的提高了數據導入至數據庫中的效率，降低了數據導入的人力成本。
本文檔來自技高網...【技術保護點】
1.一種數據導入方法，其特征在于，包括：
2.根據權利要求1所述的數據導入方法，其特征在于，所述根據預設的數據庫的導入任務的參數以及所述導入任務的模板生成執行所述導入任務的第一SQL語句，并將所述第一SQL語句填充至預設的數組變量中，包括：
3.根據權利要求2所述的數據導入方法，其特征在于，所述對所述導入任務的模板進行解析，并將解析出的所述第一SQL語句填充至預設的數組變量中，包括：
4.根據權利要求1所述的數據導入方法，其特征在于，所述基于所述游標對象，根據所述導入任務的目標日期分區名稱集合和目標日期分區值集合查詢所述數據庫，以獲取所述導入任務的目標導入表的目標列名集合，包括：
5.根據權利要求1所述的數據導入方法，其特征在于，所述導入任務的模板還包括對所述目標數據表執行數據清理的第二SQL語句；
6.根據權利要求1所述的數據導入方法，其特征在于，根據所述數組變量、所述目標日期分區名稱集合、所述目標日期分區值集合以及所述目標列名集合生成所述導入任務，包括：
7.根據權利要求1所述的數據導入方法，其特征在于，
8.一種數據導入裝置，其特征在于，包括：
9.一種計算機設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至7中任一項所述的數據導入方法。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序當被處理器執行時使所述處理器執行如權利要求1至7任一項所述的數據導入方法。
...【技術特征摘要】
1.一種數據導入方法，其特征在于，包括：
2.根據權利要求1所述的數據導入方法，其特征在于，所述根據預設的數據庫的導入任務的參數以及所述導入任務的模板生成執行所述導入任務的第一sql語句，并將所述第一sql語句填充至預設的數組變量中，包括：
3.根據權利要求2所述的數據導入方法，其特征在于，所述對所述導入任務的模板進行解析，并將解析出的所述第一sql語句填充至預設的數組變量中，包括：
4.根據權利要求1所述的數據導入方法，其特征在于，所述基于所述游標對象，根據所述導入任務的目標日期分區名稱集合和目標日期分區值集合查詢所述數據庫，以獲取所述導入任務的目標導入表的目標列名集合，包括：
5.根據權利要求1所述的數據導入方法，其特征在于，所述導入任務的模板還包括對所述目標數據表執行數據清理的第二sql語句；
6.根據權利要求1所述的數據導入方法，其特征在于，根據所述數...
【專利技術屬性】
技術研發人員：陳灝，吳曉寶，史憶，左安力，李雄，胡孝思，徐光宇，張清平，
申請(專利權)人：順豐科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。