【技術實現步驟摘要】
本專利技術涉及設備數據處理領域，特別涉及一種通過可伸縮數據處理的消息傳輸優化系統、方法、計算設備和存儲介質。
技術介紹
1、隨著大數據、物聯網、深度學習以及人工智能等各項技術的迅猛發展，數據本身的價值也越來越受到認可，尤其是上述相關技術的實際應用、技術進步和發展都需要以來大量數據。由此，如何快速從各類設備獲取數據，并進行傳輸和處理也就成了重中之重。
2、當前，對于獲取到的各類設備數據，通常是基于固定的傳輸路徑進行傳輸，在對應的處理端接收到數據后進行處理。然而，此種方式下，在面對由不同類型設備產生，且數據量差異明顯的情形時，所占用的傳輸資源、處理資源仍是相同的。
3、如此，設備數據種類多樣、復雜，且數據量大小不一的情況時，此種處理方式就會顯出僵化、低效、不靈活的問題。在面對負載的在數據量較小時，會導致傳輸資源的空閑占用率和處理資源的空閑使用率過高，造成大量資源占用和浪費，使用效率極低；而在數據量較大時，則會導致傳輸資源和處理資源的分配不足，大大延長了數據傳輸和數據處理的時間，同樣降低了系統的整體效率。
技術實現思路
1、為了解決上述技術問題，本專利技術提供了一種通過可伸縮數據處理的消息傳輸優化系統和相應的一種通過可伸縮數據處理的消息傳輸優化方法、計算設備和計算機存儲介質。
2、根據本專利技術的一個方面，提供了一種通過可伸縮數據處理的消息傳輸優化系統，包括：數據采集模塊、數據接入模塊、數據處理模塊以及集群管理模塊；其中，
3、所述數據采集
4、所述數據接入模塊，用于基于分布式架構進行數據接入，并在全部集群節點范圍內完成數據同步；
5、所述數據處理模塊，用于基于微服務架構，根據當前負載自動調整集群節點數量；
6、所述集群管理模塊，用于針對集群中的每個節點進行心跳檢測，針對存在故障的節點進行故障轉移。
7、上述方案中，所述邊緣節點設置于設備側，所述數據采集模塊，進一步用于：
8、確定各個邊緣節點所對應的設備，由每個邊緣節點獲取其對應設備的設備數據；
9、針對獲取到的設備數據，進行數據預處理，得到預處理數據；其中，數據預處理至少包括：數據清理和/或歸一化；
10、基于無損壓縮算法，將預處理數據進行無損壓縮。
11、上述方案中，所述數據接入模塊，進一步用于：
12、預先在集群內各個節點間設置的記錄接口；
13、利用各個節點間的記錄接口，對邊緣節點獲取并完成處理的設備數據進行傳輸；
14、將邊緣節點獲取并完成處理的設備數據在各個節點進行備份和存儲。
15、上述方案中，所述數據處理模塊，進一步用于：
16、基于設備數據，確定用于擴容或縮容的目標指標；
17、根據目標指標，利用微服務架構中的負載均衡器，基于預設的負載均衡技術，確定集群節點調整方式；
18、基于集群節點調整方式對于集群進行擴容或縮容。
19、上述方案中，所述集群管理模塊，進一步用于：
20、對集群中的各個節點進行監測，獲取每個節點依據預設周期發送的心跳信息；
21、基于各個節點的心跳信息判斷節點是否存在異常狀態；
22、針對存在異常的節點，基于預設的故障轉移策略進行故障轉移；其中，故障轉移策略為主從復制策略、多主復制策略或數據分片策略。
23、上述方案中，所述數據處理模塊，進一步用于：
24、針對集群內節點的負載狀態，構建節點負載調整模型；
25、采集集群中過往數據處理的負載歷史信息，利用負載歷史信息對節點負載調整模型進行訓練，得到訓練后的節點負載調整模型；
26、基于訓練后的節點負載調整模型，確定集群內節點負載狀態進行調整。
27、上述方案中，所述數據處理模塊，進一步用于：
28、節點負載調整模型基于節點數據處理性能參數對節點的負載狀態進行確定，所述節點數據處理性能參數為
29、
30、其中，pn為節點數據處理性能參數；x為節點處理的任務總數量；mi為第i個任務進行數據同步時的數據量；noei為第i個任務對應的節點cpu空閑率參數；α為cpu空閑率參數的系數；saei為第i個任務對應的節點存儲空閑率參數；β為存儲空閑率參數的系數。
31、根據本專利技術的另一方面，提供了一種通過可伸縮數據處理的消息傳輸優化方法，包括：
32、基于邊緣節點對設備數據進行采集并進行數據預處理；
33、基于分布式架構進行數據接入，并在全部集群節點范圍內完成數據同步；
34、基于微服務架構，根據當前負載自動調整集群節點數量；
35、針對集群中的每個節點進行心跳檢測，針對存在故障的節點進行故障轉移。
36、根據本專利技術的又一方面，提供了一種計算設備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；
37、所述存儲器用于存放至少一可執行指令，所述可執行指令使所述處理器執行如上述的一種通過可伸縮數據處理的消息傳輸優化系統所實現的操作。
38、根據本專利技術的再一方面，提供了一種計算機存儲介質，所述存儲介質中存儲有至少一可執行指令，所述可執行指令使處理器執行如上述的一種通過可伸縮數據處理的消息傳輸優化系統所實現的操作。
39、根據本專利技術提供的技術方案，一種通過可伸縮數據處理的消息傳輸優化系統，包括：數據采集模塊、數據接入模塊、數據處理模塊以及集群管理模塊；其中，所述數據采集模塊，用于基于邊緣節點對設備數據進行采集并進行數據預處理；所述數據接入模塊，用于基于分布式架構進行數據接入，并在全部集群節點范圍內完成數據同步；所述數據處理模塊，用于基于微服務架構，根據當前負載自動調整集群節點數量；所述集群管理模塊，用于針對集群中的每個節點進行心跳檢測，針對存在故障的節點進行故障轉移。通過在設備側設置邊緣節點，快速采集每個邊緣節點較近的設備數據，提升了數據采集效率，并通過在對應邊緣節點進行預處理和無損壓縮，降低了對應的數據傳輸量，在保障數據完整性的情況下，提升了數據傳輸效率；基于分布式架構對采集到的數據進行數據接入，通過各個節點間的接口，快速完成設備數據在分布式架構中其余節點的傳輸和存儲，由此完成數據備份，提高了數據安全性；隨后，采用微服務架構進行數據處理，基于微服務架構中的負載均衡器，利用負載均衡調解技術根據當前需要進行處理的數據量，對集群進行擴容或縮容，使集群中的節點數量能夠更好地與當前要處理的數據量相匹配，減少了可能出現的節點利用率過高或過低的情況，即減少了資源的浪費或處理速度降低的情況，大大提高了系統整體的運行效率；通過監測集群中的各個節點的心跳信息，在存在故障時進行自動故障轉移，提高了系統在出現故障時的魯棒性，保證了系統的穩定運本文檔來自技高網...
【技術保護點】
1.一種通過可伸縮數據處理的消息傳輸優化系統，包括：數據采集模塊、數據接入模塊、數據處理模塊以及集群管理模塊；其中，
2.根據權利要求1所述的一種通過可伸縮數據處理的消息傳輸優化系統，其特征在于，所述邊緣節點設置于設備側，所述數據采集模塊，進一步用于：
3.根據權利要求1所述的一種通過可伸縮數據處理的消息傳輸優化系統，其特征在于，所述數據接入模塊，進一步用于：
4.根據權利要求1所述的一種通過可伸縮數據處理的消息傳輸優化系統，其特征在于，所述數據處理模塊，進一步用于：
5.根據權利要求1所述的一種通過可伸縮數據處理的消息傳輸優化系統，其特征在于，所述集群管理模塊，進一步用于：
6.根據權利要求1所述的一種通過可伸縮數據處理的消息傳輸優化系統，其特征在于，所述數據處理模塊，進一步用于：
7.根據權利要求6所述的一種通過可伸縮數據處理的消息傳輸優化系統，其特征在于，所述數據處理模塊，進一步用于：
8.一種通過可伸縮數據處理的消息傳輸優化方法，包括：
9.一種計算設備，包括：處理器、存儲器、
10.一種計算機存儲介質，所述存儲介質中存儲有至少一可執行指令，所述可執行指令使處理器執行如權利要求1-7中任一項所述的一種通過可伸縮數據處理的消息傳輸優化系統所實現的操作。
...【技術特征摘要】
1.一種通過可伸縮數據處理的消息傳輸優化系統，包括：數據采集模塊、數據接入模塊、數據處理模塊以及集群管理模塊；其中，
2.根據權利要求1所述的一種通過可伸縮數據處理的消息傳輸優化系統，其特征在于，所述邊緣節點設置于設備側，所述數據采集模塊，進一步用于：
3.根據權利要求1所述的一種通過可伸縮數據處理的消息傳輸優化系統，其特征在于，所述數據接入模塊，進一步用于：
4.根據權利要求1所述的一種通過可伸縮數據處理的消息傳輸優化系統，其特征在于，所述數據處理模塊，進一步用于：
5.根據權利要求1所述的一種通過可伸縮數據處理的消息傳輸優化系統，其特征在于，所述集群管理模塊，進一步用于：
【專利技術屬性】
技術研發人員：董雷，張運春，鄭陽陽，李文奎，謝耘，于濱峰，李利軍，趙棟，于連宇，孟祥芹，霍力強，郭娜，
申請(專利權)人：北京東方通科技股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。