【技術實現步驟摘要】
本申請涉及大數據，具體涉及一種數據倉庫模型優化方法及其相關設備。
技術介紹
1、數據倉庫是決策支持系統和聯機分析應用數據源的結構化數據環境，通過數據倉庫可以對從數據庫中獲取信息的問題進行研究和解決。
2、隨著業務復雜程度的增加，數據倉庫的建模也逐漸增多，而數據倉庫建模精度低下，在歷史數據倉庫中往往存在對大量數據的重復建模，大量重復的數據則會導致數據倉庫的數據冗余，以及數據口徑不一致；并且，數據倉庫的維護和管理成本也會隨之增加，占用大量計算資源，最終導致數據管理效率低下的問題。
技術實現思路
1、本申請實施例提供一種數據倉庫模型優化方法及其相關設備，可以解決數據倉庫模型精度低下的技術問題。
2、本申請實施例提供一種數據倉庫模型優化方法，包括：
3、基于大數據平臺獲取數據調度任務，確定所述數據調度任務是否為已發布任務；
4、在所述數據調度任務為所述已發布任務時，獲取所述已發布任務的血緣數據，基于所述大數據平臺解析所述血緣數據，得到第一數據信息；
5、確定所述第一數據信息中是否存在重復使用的數據表，在確定存在所述數據表時，對所述數據表進行溯源，獲取所述數據表在數據倉庫模型中的來源層；
6、根據所述來源層獲取目標處理任務，通過所述目標處理任務對所述數據倉庫模型中匯總數據層對應的第一數據層表、明細數據層對應的第二數據層表和維度數據層對應的第三數據層表進行優化處理。
7、進一步的，根據所述來源層獲取目標處理任務
8、在所述高頻表的來源層為數據集市層或原始數據層時，獲取字段信息，根據所述字段信息確定所述第一數據層表、所述第二數據層表和所述第三數據層表分別對應的字段缺失范圍；
9、根據所述字段缺失范圍確定所述目標處理任務的類型，通過所述類型對應的任務事項對所述第一數據層表、所述第二數據層表以及所述第三數據層表分別進行優化；
10、在所述數據表的來源層為所述匯總數據層或所述明細數據層時，確定所述目標處理任務為保持任務，對所述第一數據層表、所述第二數據層表以及所述第三數據層表進行保持。
11、進一步的，根據所述字段缺失范圍確定所述目標處理任務的類型，通過所述類型對應的任務事項對所述第一數據層表、所述第二數據層表以及所述第三數據層表分別進行優化，包括：
12、在所述字段缺失范圍為第一范圍時，確定所述目標處理任務的類型為補齊類型，基于所述補齊類型對應的任務事項分別對所述第一數據層表、所述第二數據層表以及所述第三數據層表中的缺失字段進行補齊；
13、在所述字段缺失范圍為第二范圍時，確定所述目標處理任務的類型為新建類型，基于所述新建類型對應的任務事項從所述數據倉庫模型的原始數據層依次構建新的明細數據層、新的匯總數據層和新的維度數據層分別對應的層表，其中，所述第一范圍小于所述第二范圍。
14、進一步的，在所述數據表的來源層為所述數據集市層或所述原始數據層時，獲取字段信息，包括：
15、在所述數據表的來源層為所述數據集市層時，通過所述第一數據信息追溯所述數據表對應的原始數據層表，得到所述字段信息；
16、在所述數據表的來源層為所述原始數據層時，讀取所述原始數據層中原始數據層表的目標字段內容，得到所述字段信息。
17、進一步的，通過所述目標處理任務對所述數據倉庫模型中匯總數據層對應的第一數據層表、明細數據層對應的第二數據層表和維度數據層對應的第三數據層表進行優化處理之后，包括：
18、獲取優化后的第一數據層表、優化后的第二數據層表和優化后的第三數據層表，基于所述大數據平臺推送所述優化后的第一數據層表、所述優化后的第二數據層表和所述優化后的第三數據層表至目標用戶終端；
19、將所述目標用戶終端重復提交的任務替換為所述優化后的第一數據層表、所述優化后的第二數據層表和所述優化后的第三數據層表。
20、進一步的，確定所述數據調度任務是否為已發布任務之后，包括：
21、在確定所述數據調度任務為發布中任務時，對所述發布中任務進行實時解析，得到所述發布中任務的第二數據信息；
22、根據所述第二數據信息，確定當前數據倉庫模型中匯總數據層表的第一數據層表、明細數據層表的第二數據層表和維度數據層表的第三數據層表分別對應的字段缺失范圍；
23、根據所述字段缺失范圍確定對應的處理事項，基于所述處理事項對所述第一數據層表、所述第二數據層表和所述第三數據層表進行優化。
24、進一步的，基于所述處理事項對所述第一數據層表、所述第二數據層表和所述第三數據層表進行優化，包括：
25、若所述字段缺失范圍為最小范圍，確定所述處理事項為提取事項，基于所述提取事項從當前所述數據倉庫模型提取所述第一數據層表、所述第二數據層表和所述第三數據層表至所述目標用戶終端；
26、若所述字段缺失范圍非所述最小范圍，確定所述處理事項為優化事項，對所述第一數據層表、所述第二數據層表和所述第三數據層表進行優化。
27、相應地，本申請實施例提供一種數據倉庫模型優化裝置，包括：
28、確認模塊，用于基于大數據平臺獲取數據調度任務，確定所述數據調度任務是否為已發布任務；
29、解析模塊，用于在所述數據調度任務為所述已發布任務時，獲取所述已發布任務的血緣數據，基于所述大數據平臺解析所述血緣數據，得到第一數據信息；
30、溯源模塊，用于確定所述第一數據信息中是否存在重復使用的數據表，在確定存在所述數據表時，對所述數據表進行溯源，獲取所述數據表在數據倉庫模型中的來源層；
31、優化模塊，用于根據所述來源層獲取目標處理任務，通過所述目標處理任務對所述數據倉庫模型中匯總數據層對應的第一數據層表、明細數據層對應的第二數據層表和維度數據層對應的第三數據層表進行優化處理。
32、此外，本申請實施例還提供一種電子設備，包括處理器和存儲器，上述存儲器存儲有計算機程序，上述處理器用于運行上述存儲器內的計算機程序實現本申請實施例提供的數據倉庫模型優化方法。
33、此外，本申請實施例還提供一種計算機可讀存儲介質，上述計算機可讀存儲介質存儲有計算機程序，上述計算機程序適于處理器進行加載，以執行本申請實施例所提供的任一種數據倉庫模型優化方法。
34、此外，本申請實施例還提供一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現本申請實施例所提供的任一種數據倉庫模型優化方法。
35、在本申請實施例中，通過基于大數據平臺獲取數據調度任務，確定數據調度任務是否為已發布任務；在數據調度任務為已發布任務時，獲取已發布任務的血緣數據，基于大數據平臺解析血緣數據，得到第一數據信息本文檔來自技高網...
【技術保護點】
1.一種數據倉庫模型優化方法，其特征在于，包括：
2.根據權利要求1所述的數據倉庫模型優化方法，其特征在于，所述根據所述來源層獲取目標處理任務，通過所述目標處理任務對所述數據倉庫模型中匯總數據層對應的第一數據層表、明細數據層對應的第二數據層表和維度數據層對應的第三數據層表進行優化處理，包括：
3.根據權利要求2所述的數據倉庫模型優化方法，其特征在于，所述根據所述字段缺失范圍確定所述目標處理任務的類型，通過所述類型對應的任務事項對所述第一數據層表、所述第二數據層表以及所述第三數據層表分別進行優化，包括：
4.根據權利要求2所述的數據倉庫模型優化方法，其特征在于，所述在所述數據表的來源層為所述數據集市層或所述原始數據層時，獲取字段信息，包括：
5.根據權利要求1所述的數據倉庫模型優化方法，其特征在于，在所述通過所述目標處理任務對所述數據倉庫模型中匯總數據層對應的第一數據層表、明細數據層對應的第二數據層表和維度數據層對應的第三數據層表進行優化處理之后，包括：
6.根據權利要求1所述的數據倉庫模型優化方法，其特征在于，在所述確定
7.根據權利要求6所述的數據倉庫模型優化方法，其特征在于，所述基于所述處理事項對所述第一數據層表、所述第二數據層表和所述第三數據層表進行優化，包括：
8.一種數據倉庫模型優化裝置，其特征在于，包括：
9.一種電子設備，其特征在于，包括處理器和存儲器，所述存儲器存儲有計算機程序，所述處理器用于運行所述存儲器內的計算機程序，以執行權利要求1至7任一項所述的數據倉庫模型優化方法。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序適于處理器進行加載，以執行權利要求1至7任一項所述的數據倉庫模型優化方法。
...【技術特征摘要】
1.一種數據倉庫模型優化方法，其特征在于，包括：
2.根據權利要求1所述的數據倉庫模型優化方法，其特征在于，所述根據所述來源層獲取目標處理任務，通過所述目標處理任務對所述數據倉庫模型中匯總數據層對應的第一數據層表、明細數據層對應的第二數據層表和維度數據層對應的第三數據層表進行優化處理，包括：
3.根據權利要求2所述的數據倉庫模型優化方法，其特征在于，所述根據所述字段缺失范圍確定所述目標處理任務的類型，通過所述類型對應的任務事項對所述第一數據層表、所述第二數據層表以及所述第三數據層表分別進行優化，包括：
4.根據權利要求2所述的數據倉庫模型優化方法，其特征在于，所述在所述數據表的來源層為所述數據集市層或所述原始數據層時，獲取字段信息，包括：
5.根據權利要求1所述的數據倉庫模型優化方法，其特征在于，在所述通過所述目標處理任務對所述數據倉庫模型中匯總數據層對應的第...
【專利技術屬性】
技術研發人員：胡文濤，趙繼科，賴良波，胡錦霞，李于瑤，
申請(專利權)人：順豐科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。