【技術實現步驟摘要】
本專利技術涉及數據處理，尤其涉及一種報表推送優化方法、裝置、設備及存儲介質。
技術介紹
1、快運數據倉庫系統承載著龐大的數據處理任務，例如，超過七百個數據推送作業的高效運行，這些作業直接支撐著報表平臺數百張關鍵報表的數據生成與展示。這一體系在支撐企業決策與業務分析方面發揮著不可或缺的作用。然而，隨著業務復雜性的提升和數據需求的日益增長，系統架構與數據管理流程面臨著若干挑戰。
2、首要問題在于數據更新頻率與報表實際使用率的不匹配。系統目前采取的是基于推數作業頻率來決定報表數據更新周期的策略，這一機制雖確保了數據更新的靈活性，但也引發了資源分配不均的現象。具體而言，部分高頻率訪問的報表得到了及時的數據更新支持，滿足了業務部門的迫切需求；而另一方面，存在相當數量的報表，其月度乃至年度點擊頻次極低，不超過百次，這些低頻報表的數據推送作業不僅消耗了寶貴的服務器資源，還因占用處理隊列而間接影響到其他報表的正常數據更新流程，造成數據延遲，損害了報表平臺數據的時效性和準確性。
3、更為嚴峻的是，隨著新業務的不斷涌現和數據報表需求的持續膨脹，現有系統面臨的壓力日益增大。低頻推數作業的累積效應，加劇了服務器資源的緊張狀況，進而可能引發連鎖反應，影響整個數據生態系統的穩定性和響應速度。這不僅削弱了報表平臺作為數據服務核心的價值，還可能對業務部門的決策效率和數據洞察力造成不利影響，限制了企業利用數據進行精細化管理和市場響應的能力。
4、因此，現有技術還有待改進和發展。
技術實現思路
1、本專利技術提供了一種報表推送優化方法、裝置、設備及存儲介質，用于優化報表的推送作業。
2、本專利技術第一方面提供了一種報表推送優化方法，所述報表推送優化方法包括：定期收集用戶訪問報表的行為數據，并對收集的數據進行預處理，得到預處理數據；根據所述預處理數據計算各報表的點擊率，并按照點擊率對各報表進行排序，得到各報表的點擊率排名，并生成報表點擊率數據表；獲取預設的報表依賴關系表和報表更新頻率表，并將所述報表依賴關系表、所述報表更新頻率表和所述報表點擊率數據表輸入作業調度優化模型以獲取報表推送作業調度計劃；根據所述報表點擊率數據表篩選出點擊率低于預設點擊率閾值的報表，并標記為低點擊率報表；根據所述報表推送作業調度計劃更新etl作業表，并將所述低點擊率報表的調度觸發方式替換為觸發器觸發。
3、可選的，在本專利技術第一方面的第一種實現方式中，所述定期收集用戶訪問報表的行為數據，并對收集的數據進行預處理，得到預處理數據，包括：定期收集用戶訪問報表的行為數據；對收集的數據進行數據清洗，得到清洗后數據；對所述清洗后數據進行數據轉換，得到預處理數據，所述預處理數據包括報表id、報表訪問數據和報表點擊數據。
4、可選的，在本專利技術第一方面的第二種實現方式中，所述根據所述預處理數據計算各報表的點擊率，并按照點擊率對各報表進行排序，得到各報表的點擊率排名，并生成報表點擊率數據表，包括：基于所述預處理數據計算各報表的點擊次數和總訪問次數；計算各報表的點擊次數占總訪問次數的比例，得到各報表的點擊率；按照點擊率，以降序的方式對各報表進行排序，得到各報表的點擊率排名，并生成報表點擊率數據表。
5、可選的，在本專利技術第一方面的第三種實現方式中，所述獲取預設的報表依賴關系表和報表更新頻率表，并將所述報表依賴關系表、所述報表更新頻率表和所述報表點擊率數據表輸入作業調度優化模型以獲取報表推送作業調度計劃，包括：基于遺傳算法構建作業調度優化模型；獲取預設的報表依賴關系表和報表更新頻率表，并將所述報表依賴關系表、所述報表更新頻率表和所述報表點擊率數據表整合為綜合數據集；將所述綜合數據集輸入作業調度優化模型以獲取報表推送作業調度計劃，所述報表推送作業調度計劃包括每個報表的推送順序和推送時間。
6、可選的，在本專利技術第一方面的第四種實現方式中，所述基于遺傳算法構建作業調度優化模型，包括：構建調度優化初始模型的基礎框架，所述基礎框架包括數據輸入模塊、調度算法模塊、結果輸出模塊，所述數據輸入模塊用于接收綜合數據集，并傳輸給所述調度算法模塊，所述調度算法模塊用于根據綜合數據集生成報表推送作業調度計劃，并傳輸給所述結果輸出模塊，所述結果輸出模塊用于輸出所述報表推送作業調度計劃；獲取預設的政策變量、目標函數、約束條件和遺傳算法，并將預設的政策變量、目標函數、約束條件和遺傳算法融入所述調度算法模塊中，得到調度優化初始模型；收集歷史報表調度數據，使用所述歷史報表調度數據對所述調度優化初始模型進行訓練，得到作業調度優化模型。
7、可選的，在本專利技術第一方面的第五種實現方式中，所述根據所述報表點擊率數據表篩選出點擊率低于預設點擊率閾值的報表，并標記為低點擊率報表，包括：從點擊率排名在末位的報表開始遍歷所述報表點擊率數據表，將報表的點擊率與預設點擊率閾值對比；若報表的點擊率低于預設點擊率閾值，則將報表放入低點擊率報表集合中，若報表的點擊率高于預設點擊率閾值，則停止遍歷報表點擊率數據表；將所述低點擊率報表集合中的報表標記為低點擊率報表。
8、可選的，在本專利技術第一方面的第六種實現方式中，所述根據所述報表推送作業調度計劃更新etl作業表，并將所述低點擊率報表的調度觸發方式替換為觸發器觸發，包括：根據報表推送作業調度計劃調整etl作業表中的作業的執行順序、時間和優先級，得到更新后的etl作業表；為每個所述低點擊率報表創新的觸發器，并根據所述低點擊率報表對應的調度計劃配置觸發器的參數；遍歷更新后的etl作業表，查詢得到低點擊率報表，并將低點擊率報表的調度觸發方式替換為觸發器觸發。
9、本專利技術第二方面提供了一種報表推送優化裝置，包括：預處理模塊，用于定期收集用戶訪問報表的行為數據，并對收集的數據進行預處理，得到預處理數據；排序模塊，用于根據所述預處理數據計算各報表的點擊率，并按照點擊率對各報表進行排序，得到各報表的點擊率排名，并生成報表點擊率數據表；調度模塊，用于獲取預設的報表依賴關系表和報表更新頻率表，并將所述報表依賴關系表、所述報表更新頻率表和所述報表點擊率數據表輸入作業調度優化模型以獲取報表推送作業調度計劃；篩選模塊，用于根據所述報表點擊率數據表篩選出點擊率低于預設點擊率閾值的報表，并標記為低點擊率報表；更新模塊，用于根據所述報表推送作業調度計劃更新etl作業表，并將所述低點擊率報表的調度觸發方式替換為觸發器觸發。
10、可選的，在本專利技術第二方面的第一種實現方式中，所述預處理模塊包括：收集單元，用于定期收集用戶訪問報表的行為數據；清洗單元，用于對收集的數據進行數據清洗，得到清洗后數據；轉換單元，用于對所述清洗后數據進行數據轉換，得到預處理數據，所述預處理數據包括報表id、報表訪問數據和報表點擊數據。
11、可選的，在本專利技術第二方面的第二種實現方式中，所述排序模塊包括：第一計算單元，用于基于所述預處理數據計算各報表的點擊次數和總訪問次數；第二計算單元，用于計算各報表的點擊次數占總訪問次數的比例，本文檔來自技高網...
【技術保護點】
1.一種報表推送優化方法，其特征在于，所述報表推送優化方法包括：
2.根據權利要求1所述的報表推送優化方法，其特征在于，所述定期收集用戶訪問報表的行為數據，并對收集的數據進行預處理，得到預處理數據，包括：
3.根據權利要求1所述的報表推送優化方法，其特征在于，所述根據所述預處理數據計算各報表的點擊率，并按照點擊率對各報表進行排序，得到各報表的點擊率排名，并生成報表點擊率數據表，包括：
4.根據權利要求1所述的報表推送優化方法，其特征在于，所述獲取預設的報表依賴關系表和報表更新頻率表，并將所述報表依賴關系表、所述報表更新頻率表和所述報表點擊率數據表輸入作業調度優化模型以獲取報表推送作業調度計劃，包括：
5.根據權利要求4所述的報表推送優化方法，其特征在于，所述基于遺傳算法構建作業調度優化模型，包括：
6.根據權利要求1所述的報表推送優化方法，其特征在于，所述根據所述報表點擊率數據表篩選出點擊率低于預設點擊率閾值的報表，并標記為低點擊率報表，包括：
7.根據權利要求1所述的報表推送優化方法，其特征在于，所述根據所
8.一種報表推送優化裝置，其特征在于，包括：
9.一種報表推送優化設備，其特征在于，包括存儲器和至少一個處理器，所述存儲器中存儲有計算機可讀指令；
10.一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機可讀指令，其特征在于，所述計算機可讀指令被處理器執行時實現如權利要求1-7中任一項所述報表推送優化方法的各個步驟。
...【技術特征摘要】
1.一種報表推送優化方法，其特征在于，所述報表推送優化方法包括：
2.根據權利要求1所述的報表推送優化方法，其特征在于，所述定期收集用戶訪問報表的行為數據，并對收集的數據進行預處理，得到預處理數據，包括：
3.根據權利要求1所述的報表推送優化方法，其特征在于，所述根據所述預處理數據計算各報表的點擊率，并按照點擊率對各報表進行排序，得到各報表的點擊率排名，并生成報表點擊率數據表，包括：
4.根據權利要求1所述的報表推送優化方法，其特征在于，所述獲取預設的報表依賴關系表和報表更新頻率表，并將所述報表依賴關系表、所述報表更新頻率表和所述報表點擊率數據表輸入作業調度優化模型以獲取報表推送作業調度計劃，包括：
5.根據權利要求4所述的報表推送優化方法，其特征在于，所述基于遺傳算法構建...
【專利技術屬性】
技術研發人員：蘇戰營，朱立誠，李曉軍，趙珂，王妙，朱云云，
申請(專利權)人：上海乾臻信息科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。