【技術實現步驟摘要】
本公開實施例涉及計算，尤其涉及一種云邊端協同的車載終端模型分布式訓練聚合方法。
技術介紹
1、目前，在車聯網領域中，深度學習技術已廣泛應用于自動駕駛、智能導航、交通流量預測等實際場景。然而，傳統的集中式模型訓練方法在車聯網環境下面臨顯著挑戰，難以滿足實際需求。車載終端設備計算能力差異大，網絡條件復雜多變，導致模型訓練效率低下且穩定性不足。并且，車聯網數據具有非獨立同分布(non-iid)特性，不同車輛的數據異質性高，進一步增加了訓練的困難程度。此外，集中式訓練方式依賴于將大量用戶端的數據上傳到中央服務器進行處理，這不僅增加了通信開銷，還會引發數據安全問題。
2、可見，亟需一種能夠充分利用云端服務器及邊緣設備計算能力的高效的云邊端協同的車載終端模型分布式訓練聚合方法。
技術實現思路
1、有鑒于此，本公開實施例提供一種云邊端協同的車載終端模型分布式訓練聚合方法，至少部分解決現有技術中存在訓練效率較低和訓練過程中通信開銷較高的問題。
2、本公開實施例提供了一種云邊端協同的車載終端模型分布式訓練聚合方法，包括：
3、步驟1，建立云邊端三層車聯網網絡系統架構，其中，所述云邊端三層車聯網網絡系統架構包括云端中央服務器、基站、路側單元和車載終端，云端中央服務器為上層，基站及路側單元為中間層，車載終端為下層，其中，下層車載終端為模型訓練方，上層云端中央服務器和中間層基站和路側單元為模型聚合方，上層云端中央服務器與中間層所有基站及路側單元通信連接，下層所有的車載終
4、步驟2，車載終端采集各自的本地數據集，其中，所述本地數據集包括整車駕駛數據、車載傳感器測量信息及路況信息；
5、步驟3，上層將所持有的初始模型下發至中間層的全部基站及路側單元，中間層將初始模型轉發至各自轄區內的車載終端；
6、步驟4，中間層根據車載終端的性能指標構建在每個全局輪次動態選擇參與訓練的車載終端的目標問題并將其轉換為一個整數線性規劃問題并求解，其中，所述性能指標包括各車載終端的計算能力、本地數據集和網絡帶寬；
7、步驟5，在每個全局輪次，被選中的車載終端使用本地數據集在本地訓練初始模型并將訓練完成的模型發送至中間層；
8、步驟6，中間層在接受到訓練完成的模型后，采用滯后干擾感知方法進行異步權重聚合；
9、步驟7，在中間層完成聚合后，將聚合后的模型回傳至云端中央服務器，云端中央服務器采用滯后干擾感知方法進行全局模型異步聚合，得到更新后的全局模型；
10、步驟8，在完成所有全局輪次的下層模型訓練及上層、中間層異步聚合后，上層將最終的全局模型下發給中間層，再由中間層轉發給所有的車載終端。
11、根據本公開實施例的一種具體實現方式，所述整數線性規劃問題的表達式為
12、
13、其中，ui表示本輪被挑選中進行本地訓練的車載終端設備i的更新效用，tij為輪次總時延tij，為車載終端設備i基于中間層基站或路側單元節點j的更新速率，m為設備選擇的超參數，約束條件為所有被選中參與訓練的車載終端設備i與中間層基站或路側單元節點j之間的總帶寬不超過中間層基站或路側單元節點j的帶寬上限bj；
14、ui＝affinityi+diversityi
15、
16、其中，為車載終端設備i上模型的梯度，為車載終端設備i上的局部損失函數gi的梯度的轉置，車載終端設備i的梯度親合度affinityi表示的是車載終端設備i的梯度和當前全局梯度之間的相似度，車載終端設備i的梯度多樣性diversityi表示的是其與同屬于一個中間層節點集群內的其他所有車載終端設備上模型梯度的差異程度；
17、tij≈tdown,ij+ttrain,i+tup,ij
18、其中，tdown,ij為從中間層節點j到車載終端設備i的模型下行傳輸時延，ttrain,i為車載終端設備i收到中間層下發的模型后，執行本地訓練所需要的時延，tup,ij為車載終端設備i將更新后的模型回傳給中間層節點j所需的時間；
19、
20、其中，bj為中間層節點j的總數據傳輸帶寬，bij為車載終端設備i到中間層節點j之間的平均數據傳輸帶寬，對于每個中間層節點j，所有選中設備的總數據傳輸帶寬不能超過總帶寬上限bj。
21、根據本公開實施例的一種具體實現方式，所述步驟6具體包括：
22、步驟6.1，在各個車載終端完成指定輪次的本地訓練后，立即將訓練完成的模型回傳到其所屬的中間層節點；
23、步驟6.2，中間層節點接收各個車載終端回傳的模型后，中間層節點基于該車載終端回傳模型的第一滯后度及第一干擾權重，在中間層節點計算本次回傳模型的第一聚合權重，并立即執行異步聚合，得到更新后的中間層模型。
24、根據本公開實施例的一種具體實現方式，所述步驟6.2具體包括：
25、中間層的基站和路側單元采用基于滯后干擾的深度學習模型異步聚合方式，中間層節點接收到來自車載終端訓練完成的模型后，立即進行中間層的模型異步聚合，通過中間層先將訓練完成的模型異步聚合更新，基于當前最新全局模型的輪次和車載終端回傳的訓練完成的模型的全局輪次的差異作為第一滯后度
26、sk＝h-τk
27、其中，sk為車載終端k的模型滯后度，h為訓練完成的模型對應的云端中央服務器全局模型的迭代輪次，τk為車載終端進行訓練更新基于的云端中央服務器全局模型的迭代輪次；
28、計算車載終端k相對于全局模型對應本次訓練過程中的云端中央服務器迭代輪次τ的第一干擾權重
29、
30、其中，β是一個超參數，是車載終端k的更新向量與全局模型從τ-1到τ輪次的更新wτ-wτ-1之間的余弦相似度，其表示兩個向量在方向上的相似性；
31、中間層根據第一滯后度和第一干擾權重單獨計算出其接收到的每個訓練完成的模型在異步聚合中所占的第一聚合權重，并立即執行異步聚合，得到更新后的中間層模型，其中，所述第一聚合權重的表達式為
32、
33、其中，為車載終端k訓練出的模型在當前輪次的聚合權重，||dk||表示第k個車載終端持有的數據樣本數量，||dmid||為本輪次中間層節點所有車載終端持有的數據樣本總和，α為介于0到1之間的超參數，(h-τk+1)-q為多項式滯后度函數，h是當前的全局聚合輪次，τk是第k個車載終端最后一次接收到全局模型的輪次，q是用于控制滯后度對權重的影響程度的系數，其值大于0；
34、在每一次計算出車載終端k訓練更新后的模型ωk'的第一聚合權重后，執行進行中間層模型的異步聚合
35、
36、其中，ω'mid是本次異步聚合后中間層節點搭載的模型更新后的權重，ωmid是進行聚合前的中間層節點搭載的模型的權重，arrived(em)表示在本輪次e本文檔來自技高網...
【技術保護點】
1.一種云邊端協同的車載終端模型分布式訓練聚合方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于,所述整數線性規劃問題的表達式為
3.根據權利要求2所述的方法，其特征在于,所述步驟6具體包括：
4.根據權利要求3所述的方法，其特征在于,所述步驟6.2具體包括：
5.根據權利要求4所述的方法，其特征在于,所述步驟7具體包括：
6.根據權利要求5所述的方法，其特征在于,所述步驟7.2具體包括：
【技術特征摘要】
1.一種云邊端協同的車載終端模型分布式訓練聚合方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于,所述整數線性規劃問題的表達式為
3.根據權利要求2所述的方法，其特征在于,所述步驟6具體包括：<...
【專利技術屬性】
技術研發人員：肖竹，張博，蔣洪波，胡靖陽，楊科華，
申請(專利權)人：湖南大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。