【技術實現步驟摘要】
本申請涉及聯邦學習，涉及車聯網環境下基于聚類的高效聯邦分割學習方法及裝置。
技術介紹
1、目前，近年來，隨著大模型的巨大成功和進步，人們的日常生活已經發生了極大的變化。大模型能在文本生成、機器翻譯、疾病診斷和智能交通等場景實現智能決策。數據是模型訓練的基礎和驅動力，大模型的強大功能源于對海量數據中隱藏的模式和規律的挖掘。海量數據從何而來？隨著物聯網技術的迅速普及，汽車上的傳感器中保存了大量的數據。這些天然分布式的數據如何利用？一種方法是將它們發送到集中的節點進行訓練。然而，這種方式有隱私泄露的風險而且通信代價高昂。
2、聯邦學習（federatedlearning，fl）作為一種分布式的機器學習方法，為解決上述難題提供了新的思路。其在不交換數據樣本的情況下，訓練算法跨越多個分散的汽車或服務器，基于分布式的數據訓練出全局模型。不同于傳統的集中式機器學習技術，不需要把分布式汽車的本地數據上傳到一個集中的節點上，可以有效地保護用戶隱私。車聯網場景下典型的聯邦學習的框架由一個服務器和多個汽車端組成。每輪訓練中，由服務器將當前全局模型下發到各汽車端，汽車端在本地利用自身的數據進行模型訓練，然后僅將模型更新的部分上傳到服務器信息交換區域，并由服務器聚合所有汽車端的模型，形成新的全局模型，該過程迭代多輪直到模型達到預設的精度或訓練輪數。聚合的方法通常采用fedavg（federatedaveraging），fedavg將權重定義為數據量比例，即數據量越大的汽車端權重越大，對全局模型的貢獻越高。然而，fl的主要缺點是每個汽車端都需要
3、分割學習(splitlearning,sl)為上述問題提供了一種有效的解決方法。在車聯網場景下的分割學習中，完整的機器學習模型被分割成多個較小的網絡部分，資源受限的汽車端上僅進行一部分較小網絡的訓練，這樣很大程度上降低了汽車端資源消耗。在一個兩參與方(汽車端和服務器)的分割學習中，完整的機器學習模型被分割成兩部分和，并分別在汽車端和服務器完成初始化，其中是汽車端側模型，包括從輸入層到被分割層之間的連續的網絡層；是服務器側模型，包括從分割層之后的網絡層到輸出層之間的連續的網絡層。汽車端使用本地數據在局部模型上進行前向傳播得到中間結果，并將中間結果與數據標簽發送給服務器。服務器用中間結果在局部模型上進行前向傳播得到整個模型的輸出。服務器根據輸出和數據標簽計算損失，在上反向傳播計算對的梯度和對中間結果的梯度。服務器將對中間結果的梯度發送給汽車端，汽車端在上反向傳播計算對的梯度。在上述情景中，的輸出結果與的輸出結果是相同的，因而損失是相同的，根據求微分的鏈式法則可知，與也是相同的，因而這樣的訓練流程與通常的訓練方式會得到相同的結果。然而，由于跨多個汽車端進行基于接力的訓練，分割學習的訓練效率遠比聯邦學習低。
4、聯邦分割學習結合了聯邦學習和分割學習，緩解了它們固有的缺點。在車聯網場景下的聯邦分割學習中，完整的機器學習模型被分成兩部分：汽車端側模型和服務器側模型。在神經網絡中，汽車端側模型為從輸入層到分割層的若干連續的層組成的模型，服務器側模型為從分割層到輸出層的若干連續的層組成的模型。在開始訓練前，多個分布式汽車端持有本地數據以及汽車端側模型，服務器對于每一個汽車端都持有一份服務器側模型。開始訓練后，所有汽車端都在其汽車端側模型上并行執行前向傳播，并將中間結果傳遞到服務器。然后，服務器在其服務器側模型上并行地處理每個汽車端的前向傳播、反向傳播并更新服務器側模型。然后服務器將損失函數對中間結果的梯度回傳到各自的汽車端并在汽車端側模型上進行反向傳播并更新模型。在經過一定周期的訓練之后，汽車端將本地的汽車端側模型發送給服務器，由服務器幫助完成汽車端側模型的聚合，而服務器側的模型由于是集中在服務器上的，直接由服務器完成聚合。這樣訓練、聚合的過程迭代多次直到模型訓練達到預設的精度或預設的訓練時間。
5、在車聯網物體識別中，參與聯邦分割學習的節點為多個車聯網汽車端和云服務器，這些節點都具備算力和通信能力。其中，云服務器節點具備高算力和高通信能力，因此云服務器作為聯邦分割學習的服務器。多個車聯網汽車端即為多個分布式的節點。汽車端通過2g/3g/4g/5g、nb-iot、wifi與云服務器進行通信，完成信息的發送和接收。在這樣的場景下，一個重要的問題是不同汽車端的本地數據往往是非獨立同分布（non-iid,non-independentandidenticallydistributed）的，（例如，有些車輛是進行長途運輸的，那么這些車輛收集到的數據可能以山川樹木為主。另外有些車輛經常游走于鬧市之中，那么這些車輛收集到的數據可能以行人、建筑等為主）這會使得傳統使用fedavg聚合模型的聯邦分割學習收斂速度下降。另外，在服務器端對于每個汽車端均維護一個服務器側模型，這對于服務器的算力、存儲資源也是巨大的挑戰。因此，如何在車輛網物體識別的聯邦分割學習場景下，解決由數據non-iid帶來的收斂速度和收斂精度下降以及由汽車端數量過多帶來的服務器資源不足問題，進一步提高用戶體驗，成為一個亟待解決的問題。
6、需要說明的是，在上述
技術介紹
部分公開的信息僅用于加強對本申請的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。
技術實現思路
1、為了對披露的實施例的一些方面有基本的理解，下面給出了簡單的概括。所述概括不是泛泛評述，也不是要確定關鍵／重要組成元素或描繪這些實施例的保護范圍，而是作為后面的詳細說明的序言。
2、本公開實施例提供了車聯網環境下基于聚類的高效聯邦分割學習方法及裝置，解決在車聯網場景下聯邦分割學習中由于數據非獨立同分布帶來的收斂速度和收斂精度下降問題以及由于汽車端數量過多帶來的服務器資源不足問題。
3、在一些實施例中，所述方法包括：
4、汽車端采集本地數據，所述本地數據為被標記的道路信息圖片，汽車端將收集的本地數據的標簽信息組織成類別向量發送至云服務器；
5、云服務器使用聚類算法將所有汽車端的本地數據聚類分組，計算各組間余弦相似性矩陣；
6、判斷各組間的相似性，如果各組間的相似性小于指定閾值則進行個性化聯邦學習，否則進行非個性化聯邦學習；
7、所述非個性化聯邦學習根據分組結果訓練一個全局模型，所述全局模型包括汽車端側全局模型和服務器側全局模型；將各組將訓練后的汽車端側模型在組內聚合，將組內聚合的模型再進行組間聚合為汽車端側全局模型，服務器將訓練后的服務器側模型聚合為服務器側全局模型；所述個性化聯邦學習根據分組結果為每個組訓練一個組模型，每個組模型包括該組數據訓練的汽車端側組模型和服務器側組模型，所述組模型訓練的目標函數加入需要訓練的參數和基準模型的參數之差的二范式；
8、采集待預測圖像進行聚類分組，根據各組的相似性使用全局模型或組模本文檔來自技高網...
【技術保護點】
1.一種車聯網環境下基于聚類的高效聯邦分割學習方法，其特征在于，包括：
2.根據權利要求1所述的車聯網環境下基于聚類的高效聯邦分割學習方法，其特征在于，所述聚類算法為Kmeans聚類，使用余弦相似度作為相似性度量。
3.根據權利要求1所述的車聯網環境下基于聚類的高效聯邦分割學習方法，其特征在于，
4.根據權利要求3所述的車聯網環境下基于聚類的高效聯邦分割學習方法，其特征在于，服務器對汽車端側的模型在組內使用FedAvg聚合為組內模型，將組內模型跨組使用FedAvg聚合為汽車端側全局模型；
5.根據權利要求4所述的車聯網環境下基于聚類的高效聯邦分割學習方法，其特征在于，服務器側模型對模型的分類器層使用基于能量比率的聚合方法的聚合后，分類器參數矩陣第列的參數計算公式如下：
6.根據權利要求2所述的車聯網環境下基于聚類的高效聯邦分割學習方法，其特征在于，所述個性化聯邦學習流程如下：
7.根據權利要求6所述的車聯網環境下基于聚類的高效聯邦分割學習方法，其特征在于，基準模型生成公式如下：
8.根據權利要求7
9.根據權利要求8所述的車聯網環境下基于聚類的高效聯邦分割學習方法，其特征在于，所述個性化聯邦學習中的中間結果包括本地汽車端側模型的輸出、本地數據的標簽和需要訓練的汽車端側模型參數和基準模型的汽車端側模型參數之差的二范式；
10.一種車聯網環境下基于聚類的高效聯邦分割學習裝置，包括處理器和存儲有程序指令的存儲器，其特征在于，所述處理器被配置為在運行所述程序指令時，執行如權利要求1至9任一項所述的車聯網環境下基于聚類的高效聯邦分割學習方法。
...【技術特征摘要】
1.一種車聯網環境下基于聚類的高效聯邦分割學習方法，其特征在于，包括：
2.根據權利要求1所述的車聯網環境下基于聚類的高效聯邦分割學習方法，其特征在于，所述聚類算法為kmeans聚類，使用余弦相似度作為相似性度量。
3.根據權利要求1所述的車聯網環境下基于聚類的高效聯邦分割學習方法，其特征在于，
4.根據權利要求3所述的車聯網環境下基于聚類的高效聯邦分割學習方法，其特征在于，服務器對汽車端側的模型在組內使用fedavg聚合為組內模型，將組內模型跨組使用fedavg聚合為汽車端側全局模型；
5.根據權利要求4所述的車聯網環境下基于聚類的高效聯邦分割學習方法，其特征在于，服務器側模型對模型的分類器層使用基于能量比率的聚合方法的聚合后，分類器參數矩陣第列的參數計算公式如下：
6.根據權利要求2所述的車聯網環境下基...
【專利技術屬性】
技術研發人員：盧建波，徐光偉，王新儒，曹美，趙夢瑩，張帥，
申請(專利權)人：山東大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。