【技術實現步驟摘要】
本專利技術屬于數據處理，具體涉及一種數據格式轉換方法、系統、設備及存儲介質。
技術介紹
1、在當今高度信息化的社會，數據作為重要的資源，在各行各業中發揮著至關重要的作用。隨著技術的不斷進步，數據的來源和格式日益多樣化，不同的系統和平臺之間需要進行頻繁的數據交換和共享。然而，由于數據格式的多樣性和不兼容性，數據在傳輸和交換過程中往往面臨著格式轉換的問題。目前，大多數數據傳輸和交換場景采用的是在數據接收端進行格式轉換的方法。即數據從發送端發出，到達接收端后，由接收端根據需要對數據進行格式轉換，以適應其系統或應用的要求。然而，這種方法存在幾個明顯的問題：首先，數據接收端需要承擔全部的格式轉換工作，這不僅增加了接收端的處理負擔，還可能導致處理延遲，影響數據的實時性和可用性。特別是在大數據量、高并發的情況下，接收端的處理壓力將成倍增加，甚至可能引發系統擁堵或崩潰。其次，由于數據格式的多樣性和復雜性，接收端往往需要針對不同的數據格式開發相應的轉換工具或模塊，這不僅增加了開發成本和維護難度，還可能因為轉換工具的不完善或錯誤導致數據丟失、損壞或格式錯亂等問題。
技術實現思路
1、針對現有技術的上述不足，本專利技術提供一種數據格式轉換方法、系統、設備及存儲介質，以解決上述技術問題。
2、第一方面，本專利技術提供一種數據格式轉換方法，包括：
3、在前端截留數據傳輸請求，從所述數據傳輸請求中提取數據來源、原數據格式、數據目的地址、數據名和數據；
4、將數據來源、原數據
5、確認數據使用格式與所述原數據格式不一致，為所述數據生成格式轉換任務并將所述格式轉換任務緩存至任務隊列，所述格式轉換任務包括將所述數據由原數據格式轉換為數據使用格式；
6、調用格式轉換器執行所述格式轉換任務，并將格式轉換完成的數據發送至所述數據目的地址。
7、在一個可選的實施方式中，所述方法還包括：
8、收集前端歷史行為數據，所述歷史行為數據包括指定歷史期限內的行為數據，所述行為數據包括數據來源、原數據格式、數據目的地址、數據使用格式、數據名和行為執行時間；
9、將所述歷史期限平均劃分為三個時段，將行為執行時間處于相同時段的行為數據劃分至相同的數據集，得到與三個時段對應的三個數據集；
10、分別對三個數據集中的行為數據進行聚類分析，將聚類結果中每個簇的質心輸出特征數據；
11、基于所述特征數據建立數據使用格式與數據來源、原數據格式、數據目的地址、數據名的對應規則；
12、計算三個數據集的對應規則的相似度，若相似度達到設定的閾值，則將所有對應規則整合為預測模型；若相似度未達到設定的閾值，則將時段最靠近當前時間的數據集的對應規則整合為預測模型。
13、在一個可選的實施方式中，分別對三個數據集中的行為數據進行聚類分析，將聚類結果中每個簇的質心輸出特征數據，包括：
14、分別對三個數據集的數據進行清洗，去除重復數據，處理缺失值、異常值和噪聲數據；
15、對行為數據進行量化處理，以將行為數據轉換為標準行為數據。
16、在一個可選的實施方式中，分別對三個數據集中的行為數據進行聚類分析，將聚類結果中每個簇的質心輸出特征數據，包括：
17、統計數據格式的數量，并將該數量設置為k-means算法的k值；
18、基于聚類結果計算輪廓系數和蘭德指數，若所述輪廓系數和蘭德指數達到設定的閾值，則采用所述聚類結果；若所述輪廓系數和蘭德指數未達到設定的閾值，則調整k值并重新執行聚類。
19、在一個可選的實施方式中，調用格式轉換器執行所述格式轉換任務，并將格式轉換完成的數據發送至所述數據目的地址，包括：
20、將所述數據傳輸請求中的數據更換為格式轉換完成的數據；
21、執行所述數據傳輸請求，以將格式轉換完成的數據發送至所述數據目的地址。
22、在一個可選的實施方式中，所述方法還包括：
23、確認數據使用格式與所述原數據格式一致，直接執行所述數據傳輸請求。
24、第二方面，本專利技術提供一種數據格式轉換系統，包括：
25、請求截留模塊，用于在前端截留數據傳輸請求，從所述數據傳輸請求中提取數據來源、原數據格式、數據目的地址、數據名和數據；
26、格式預測模塊，用于將數據來源、原數據格式、數據目的地址、數據名輸入預先訓練好的預測模型，預測數據使用格式；
27、格式轉換模塊，用于確認數據使用格式與所述原數據格式不一致，為所述數據生成格式轉換任務并將所述格式轉換任務緩存至任務隊列，所述格式轉換任務包括將所述數據由原數據格式轉換為數據使用格式；
28、請求執行模塊，用于調用格式轉換器執行所述格式轉換任務，并將格式轉換完成的數據發送至所述數據目的地址。
29、第三方面，提供一種設備，包括：
30、存儲器，用于存儲數據格式轉換程序；
31、處理器，用于執行所述數據格式轉換程序時實現如第一方面提供的數據格式轉換方法的步驟。
32、第四方面，提供了一種計算機可讀存儲介質，存儲介質上存儲有數據格式轉換程序，數據格式轉換程序被處理器執行時實現如第一方面提供的數據格式轉換方法的步驟。
33、本專利技術的有益效果在于，本專利技術提供的數據格式轉換方法、系統、設備及存儲介質，通過預先訓練好的預測模型來預測數據的使用格式，并在確認數據使用格式與原數據格式不一致時生成格式轉換任務進行轉換。這種方法將格式轉換的工作前移至數據傳輸的起始階段，從而有效減輕了接收端的處理負擔，提高了數據傳輸的效率和準確性。同時，通過智能預測和自動轉換，本專利技術還能夠適應不同系統和平臺的數據格式需求，實現數據的無縫對接和高效共享。
34、此外，本專利技術設計原理可靠，結構簡單，具有非常廣泛的應用前景。
本文檔來自技高網...【技術保護點】
1.一種數據格式轉換方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述方法還包括：
3.根據權利要求1所述的方法，其特征在于，分別對三個數據集中的行為數據進行聚類分析，將聚類結果中每個簇的質心輸出特征數據，包括：
4.根據權利要求2所述的方法，其特征在于，分別對三個數據集中的行為數據進行聚類分析，將聚類結果中每個簇的質心輸出特征數據，包括：
5.根據權利要求1所述的方法，其特征在于，調用格式轉換器執行所述格式轉換任務，并將格式轉換完成的數據發送至所述數據目的地址，包括：
6.根據權利要求1所述的方法，其特征在于，所述方法還包括：
7.一種數據格式轉換系統，其特征在于，包括：
8.根據權利要求7所述的系統，其特征在于，所述系統還包括：
9.一種數據格式轉換設備，其特征在于，包括：
10.一種存儲有計算機程序的計算機可讀存儲介質，其特征在于，所述可讀存儲介質上存儲有數據格式轉換程序，所述數據格式轉換程序被處理器執行時實現如權利要求1-6任一項所述數據格式轉
...【技術特征摘要】
1.一種數據格式轉換方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述方法還包括：
3.根據權利要求1所述的方法，其特征在于，分別對三個數據集中的行為數據進行聚類分析，將聚類結果中每個簇的質心輸出特征數據，包括：
4.根據權利要求2所述的方法，其特征在于，分別對三個數據集中的行為數據進行聚類分析，將聚類結果中每個簇的質心輸出特征數據，包括：
5.根據權利要求1所述的方法，其特征在于，調用格式轉換器執行所述格式轉換任務，并將格式轉換...
【專利技術屬性】
技術研發人員：高鋒，景皓鑫，陳猛，
申請(專利權)人：浪潮智慧科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。