【技術實現步驟摘要】
本專利技術涉及云邊協同計算的，尤其涉及一種云邊協同的分布式數據實時處理方法。
技術介紹
1、隨著大數據和物聯網技術的快速發(fā)展，各種傳感器和設備生成的數據量呈指數級增長。傳統的集中式數據處理模式已經難以應對如此龐大的數據流量，無法保證數據的實時處理和快速響應。云計算以其強大的計算和存儲能力成為了大數據處理的主流平臺。然而，隨著邊緣計算的崛起，云計算和邊緣計算的結合逐漸成為一種趨勢。邊緣計算將數據處理和存儲能力下沉到網絡的邊緣節(jié)點，靠近數據源頭進行處理，從而減少了數據傳輸的延遲，提高了處理效率。同時，云計算提供了集中管理、海量存儲和復雜計算能力，能夠進行全局數據的分析和處理。但是，如何根據任務的特性和資源的現狀，合理地將計算任務在云和邊緣節(jié)點之間進行分配和調度，最大化資源利用率和處理效率，仍是一個難點。
技術實現思路
1、鑒于此，本專利技術提出一種云邊協同的分布式數據實時處理方法，通過云邊協同，充分利用云計算和邊緣計算各自的優(yōu)勢，提供高效、可靠、實時的數據處理能力。
2、實現上述目的，本專利技術提供的一種云邊協同的分布式數據實時處理方法，包括以下步驟：
3、s1：通過端口鏡像采集網絡流量數據，并根據采集的網絡流量進行任務類型識別，將任務劃分為計算密集型任務和存儲消耗型任務，其中基于空間結構特征的流量識別為所述任務類型識別的實施方法；
4、s2：按照識別得到的任務類型進行分支處理，存儲消耗型任務直接通過邊緣節(jié)點進行數據訪問存儲，計算密集型任務通過構建云
5、s3：對構建的云邊協同調度模型進行優(yōu)化求解得到分布式資源調度策略，其中近端梯度優(yōu)化為調度模型優(yōu)化求解的實施方法；
6、s4：按照計算得到的分布式資源調度策略將計算密集型任務分割為子任務分配到不同計算節(jié)點進行處理，對各計算節(jié)點處理后的計算結果進行匯聚實現數據實時處理。
7、作為本專利技術的進一步改進方法：
8、可選地，所述s1步驟中根據采集的網絡流量進行任務類型識別，將任務劃分為計算密集型任務和存儲消耗型任務，包括：
9、s11：對采集的網絡流量進行預處理得到預處理后的網絡流量數據，所述預處理操作包括流量去重和流分割，所述流量去重操作根據數據包的特征{源ip，目的ip，源端口，目的端口，協議號，時間戳}對采集到的流量包進行重復性檢測，過濾重復數據包得到去重后的網絡流量，所述流分割操作按照{源ip，目的ip，源端口，目的端口，協議號}五元組對去重后的網絡流量進行流提取，將去重后的網絡流量劃分為不同的通信流；
10、s12：對劃分得到的通信流進行向量化處理得到通信流向量，所述通信流向量包括：開始時間戳、通信流持續(xù)時間、協議號、數據包平均大小、數據包大小方差、數據包數量、數據包平均時間間隔，數據包時間間隔方差；
11、s13：對通信流向量進行結構特征提取得到通信流的空間特征向量；
12、s14：利用深度神經網絡進行通信流任務類型識別，其中所述深度神經網絡以通信流的空間特征向量為輸入，以任務類型識別概率為輸出；
13、s15：根據任務類型識別概率構造非均衡條件下的目標損失函數，并進行優(yōu)化求解得到模型參數，根據求解得到的模型參數實例化模型進行任務類型識別，計算公式為：
14、；
15、其中：
16、表示均衡化前的第個通信流的任務類型識別概率；
17、表示通信流數量；
18、表示均衡化后的第個通信流的任務類型識別結果，計算公式為：
19、；
20、其中：
21、表示平衡因子，用于調整通信流樣本的權重，取值范圍為(0,1)；
22、表示調節(jié)因子，用于調整分類樣本的重要性，取值范圍為（0,5）；
23、在目標損失函數中的作用是降低容易識別任務類型的通信流樣本的貢獻，提高難以識別任務類型的通信流樣本的貢獻。
24、可選地，所述s13步驟中對通信流向量進行結構特征提取得到通信流的空間特征向量，包括：
25、s13.1?：對通信流向量進行外積操作得到網絡流特征矩陣，計算公式為：
26、；
27、其中：
28、為通信流向量；
29、表示網絡流特征矩陣；
30、s13.2：使用卷積操作對網絡流特征矩陣進行初步特征提取得到通信流特征圖，計算公式為：
31、；
32、其中：
33、*表示卷積操作；
34、表示非線性激活函數；
35、表示網絡流特征矩陣；
36、表示卷積核；
37、s13.3：將通信流特征圖通過初始膠囊層得到膠囊向量集合，所述初始膠囊層由預置數量的初級膠囊組成，每個初級膠囊將通信流特征圖轉化為膠囊向量，計算公式為：
38、；
39、其中：
40、表示通信流特征圖；
41、表示初始膠囊層中第個初級膠囊的卷積核；
42、表示第個初級膠囊的偏置向量；
43、表示非線性激活函數；
44、表示向量拼接操作；
45、s13.4：對于每一個初級膠囊的輸出膠囊向量，通過權重矩陣進行線性變換，得到預測向量，計算公式為：
46、；
47、其中：
48、表示第個初級膠囊的膠囊向量；
49、表示根據第個初級膠囊的膠囊向量預測的關于第個高級膠囊的預測向量；
50、表示第個初級膠囊和第個高級膠囊間的變換矩陣，將初級膠囊輸出向量線性變換到高級膠囊空間；
51、表示第個初級膠囊和第個高級膠囊間的偏置向量；
52、s13.5：通過偏置向量動態(tài)更新初級膠囊與高級膠囊之間的耦合系數，并結合得到的初級膠囊預測向量計算高級膠囊向量，計算公式為：
53、；
54、其中：
55、表示耦合系數，表示初級膠囊i對高級膠囊的貢獻度；
56、s13.6：?對高級膠囊向量進行壓縮歸一化處理得到壓縮后的高級膠囊向量，對所有壓縮后的高級膠囊向量進行拼接得到通信流的空間特征向量，高級膠囊向量壓縮歸一化計算公式為：
57、；
58、其中：
59、表示第個壓縮歸一化后的高級膠囊向量。
60、可選地，所述s15步驟中通過偏置向量動態(tài)更新初級膠囊與高級膠囊之間的耦合系數，包括：
61、所述耦合系數根據初級膠囊和高級膠囊之間的偏置向量進行計算，計算公式為：
62、；
63、其中：
64、表示第個初級膠囊和第k個高級膠囊間的偏置向量。
65、可選地，所述s2步驟中構建云邊協同調度模型進本文檔來自技高網...
【技術保護點】
1.一種云邊協同的分布式數據實時處理方法，其特征在于，所述方法包括：
2.如權利要求1所述的一種云邊協同的分布式數據實時處理方法，其特征在于，所述S1步驟中根據采集的網絡流量進行任務類型識別，將任務劃分為計算密集型任務和存儲消耗型任務，包括：
3.如權利要求2所述的一種云邊協同的分布式數據實時處理方法，其特征在于，所述S13步驟中對通信流向量進行結構特征提取得到通信流的空間特征向量，包括：
4.如權利要求3所述的一種云邊協同的分布式數據實時處理方法，其特征在于，所述S15步驟中通過偏置向量動態(tài)更新初級膠囊與高級膠囊之間的耦合系數，包括：
5.如權利要求1所述的一種云邊協同的分布式數據實時處理方法，其特征在于，所述S2步驟中構建云邊協同調度模型進行云邊分布式資源調度優(yōu)化將計算密集型任務分割為子任務分配到不同計算節(jié)點，包括：
6.如權利要求1所述的一種云邊協同的分布式數據實時處理方法，其特征在于，所述S4步驟中按照計算得到的分布式資源調度策略將計算密集型任務分割為子任務分配到不同計算節(jié)點進行處理，包括：
【技術特征摘要】
1.一種云邊協同的分布式數據實時處理方法，其特征在于，所述方法包括：
2.如權利要求1所述的一種云邊協同的分布式數據實時處理方法，其特征在于，所述s1步驟中根據采集的網絡流量進行任務類型識別，將任務劃分為計算密集型任務和存儲消耗型任務，包括：
3.如權利要求2所述的一種云邊協同的分布式數據實時處理方法，其特征在于，所述s13步驟中對通信流向量進行結構特征提取得到通信流的空間特征向量，包括：
4.如權利要求3所述的一種云邊協同的分布式數據實時處理方...
【專利技術屬性】
技術研發(fā)人員：劉建洪，朱訓魏，
申請(專利權)人：長沙東瑪克信息科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。