【技術實現(xiàn)步驟摘要】
本專利技術涉及聯(lián)邦學習，具體為一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法。
技術介紹
1、在《聯(lián)邦學習》中，我們將描述聯(lián)邦學習(亦稱聯(lián)邦機器學習)如何將分布式機器學習、密碼學、基于金融規(guī)則的激勵機制和博弈論結合起來，以解決分散數(shù)據(jù)的使用問題，傳統(tǒng)的機器學習方法需要將所有的數(shù)據(jù)集中到一個地方(例如，數(shù)據(jù)中心)，然后進行機器學習模型的訓練，聯(lián)邦學習作為分布式的機器學習范式，可以有效解決數(shù)據(jù)孤島問題，讓參與方在不共享數(shù)據(jù)的基礎上聯(lián)合建模，能從技術上打破數(shù)據(jù)孤島，實現(xiàn)ai協(xié)作。
2、現(xiàn)有專利，公告號為cn112464269a，公開了一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法，所述該方法包括過濾出和任務相關的用戶和數(shù)據(jù)、訓練前用戶選擇、訓練過程中用戶和數(shù)據(jù)選擇、模型訓練，本專利技術采用了向量草圖和隨機響應機制，用戶選擇策略高效且?guī)в须[私保護，同時由于采用了server端日志信息來動態(tài)選擇用戶，基于梯度上界值選擇數(shù)據(jù)，以及考慮到錯誤數(shù)據(jù)對梯度的影響，數(shù)據(jù)選擇策略高效且準確。
3、鑒于此，本專利技術提出了一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法來解決上述問題。
技術實現(xiàn)思路
1、針對現(xiàn)有技術的不足，本專利技術的目的在于提出一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法，具備聯(lián)邦學習場景中對數(shù)據(jù)進行判斷選擇等優(yōu)點，解決了聯(lián)邦學習場景在使用時不方便對數(shù)據(jù)進行選擇的問題。
2、為實現(xiàn)上述目的，本專利技術提供如下技術方案：
3、一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法，包括采用的終端處理器，所述終端處理器
4、具體方法如下：
5、a1.開始時，客戶端各自進行本地的測試訓練，獲得供客戶端選擇與模型聚合所需的關鍵信息，然后上傳至終端處理器；
6、a2.在終端處理器，采用客戶端的選擇算法與固定數(shù)量的客戶端集合；
7、a3.終端處理器將模型下發(fā)給選定的客戶端；
8、a4.客戶端將收到的信息模型進行本地優(yōu)化；
9、a5.處理后的信息模型上傳至終端處理器；
10、a6.在終端處理器端，生成新的全局模型；
11、a7.判斷模型是否達到目標精度；
12、a8.若是模型達到目標精度，則數(shù)據(jù)選擇結束。
13、a9.若是模型未達到目標精度，則數(shù)據(jù)傳輸至終端處理器，采用客戶端的選擇算法與固定數(shù)量的客戶端集合再次將模型下發(fā)給選定的客戶端進行優(yōu)化處理，隨后生成新的全局模型。
14、作為優(yōu)選的技術方案，終端處理器的輸出端連接有存儲模塊，且存儲模塊與終端處理器雙向連接，存儲模塊為雙端口存儲器，雙端口存儲器是一種同時具有兩個獨立端口的存儲器，每個端口都可以獨立地進行讀寫操作，這種存儲器主要用于實現(xiàn)cpu與dma同時訪存，提高數(shù)據(jù)傳輸效率。
15、作為優(yōu)選的技術方案，終端處理器的輸出端與數(shù)據(jù)傳輸模塊的輸入端信號連接，數(shù)據(jù)傳輸模塊的輸出端與數(shù)據(jù)轉換模塊的輸入端信號連接，數(shù)據(jù)轉換模塊的輸出端與數(shù)據(jù)分析模塊的輸入端信號連接，溫度范圍：0-60℃，符合din?40040標準，等級ktf，存儲和運輸環(huán)境要求：-40-85℃，允許相對濕度：0％～90％，無凝結，允許振動：參照iec68-2標準，第6部分，允許撞擊：參照iec68-2標準，第29部分，加速度峰值：98m/s2，額定撞擊持續(xù)時間：16ms。
16、作為優(yōu)選的技術方案，數(shù)據(jù)分析模塊的輸出端與數(shù)據(jù)對比模塊的輸入端信號連接，數(shù)據(jù)對比模塊的輸出端與數(shù)據(jù)選擇模塊的輸入端信號連接，數(shù)據(jù)選擇模塊的輸出端與數(shù)據(jù)計算模塊的輸入端信號連接。
17、作為優(yōu)選的技術方案，數(shù)據(jù)計算模塊的輸出端與數(shù)據(jù)分布模塊的輸入端信號連接，數(shù)據(jù)分布模塊的輸出端與時間計算模塊的輸入端信號連接，時間計算模塊的輸出端與周期判斷模塊的輸入端信號連接。
18、作為優(yōu)選的技術方案，周期判斷模塊將判斷后的信號傳輸給模型分發(fā)模塊，模型分發(fā)模塊將模型數(shù)據(jù)分發(fā)給客戶端，周期判斷模塊的輸出端與模型分發(fā)模塊的輸入端信號連接，模型分發(fā)模塊的輸出端與客戶端的輸入端信號連接。
19、作為優(yōu)選的技術方案，時間計算模塊采用time模塊，time.localtime([secs])：將一個時間戳轉換為當前時區(qū)的struct_time，secs，則以當前時間為準。
20、與現(xiàn)有技術相比，本專利技術的有益效果如下：
21、1、本專利技術通過設置的選擇方法，在使用的過程中可對數(shù)據(jù)進行精確判斷選擇，避免了聯(lián)邦學習場景在使用時不方便對數(shù)據(jù)進行選擇，方便工作人員的使用，同時也提升了數(shù)據(jù)選擇的使用便捷度，無需通過繁瑣的方式對其進行選擇篩選，提高了該方法的使用便捷度。
22、2、本專利技術通過設置的該方法，在使用的過程中可將未達到目標精度的模型進行重新處理，通過選擇算法與固定數(shù)量的客戶端集合，終端重新將模型下發(fā)給選定的客戶端再次進行優(yōu)化處理生成新的全局模型，以此提升了該方法的合格率，提升數(shù)據(jù)選擇的精度。
本文檔來自技高網(wǎng)...【技術保護點】
1.一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法，包括采用的終端處理器，其特征在于：所述終端處理器的一端設置有數(shù)據(jù)傳輸模塊，數(shù)據(jù)傳輸模塊的一端設置有數(shù)據(jù)轉換模塊，數(shù)據(jù)轉換模塊的一端設置有數(shù)據(jù)分析模塊，數(shù)據(jù)分析模塊的一端設置有數(shù)據(jù)對比模塊，數(shù)據(jù)對比模塊的一端設置有數(shù)據(jù)選擇模塊，數(shù)據(jù)選擇模塊的一端設置有數(shù)據(jù)計算模塊，數(shù)據(jù)計算模塊的一端設置有數(shù)據(jù)分布模塊，數(shù)據(jù)分布模塊的一端設置有時間計算模塊，時間計算模塊的一端設置有周期判斷模塊，周期判斷模塊的一端設置有模型分發(fā)模塊，模型分發(fā)模塊的一端與客戶端連接；
2.根據(jù)權利要求1所述的一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法，其特征在于：所述終端處理器的輸出端連接有存儲模塊，且存儲模塊與終端處理器雙向連接，存儲模塊為雙端口存儲器，雙端口存儲器是一種同時具有兩個獨立端口的存儲器，每個端口都可以獨立地進行讀寫操作，這種存儲器主要用于實現(xiàn)CPU與DMA同時訪存，提高數(shù)據(jù)傳輸效率。
3.根據(jù)權利要求1所述的一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法，其特征在于：所述終端處理器的輸出端與數(shù)據(jù)傳輸模塊的輸入端信號連接，數(shù)據(jù)傳輸模塊的輸出端與數(shù)據(jù)轉換模塊的輸入端信號
4.根據(jù)權利要求1所述的一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法，其特征在于：所述數(shù)據(jù)分析模塊的輸出端與數(shù)據(jù)對比模塊的輸入端信號連接，數(shù)據(jù)對比模塊的輸出端與數(shù)據(jù)選擇模塊的輸入端信號連接，數(shù)據(jù)選擇模塊的輸出端與數(shù)據(jù)計算模塊的輸入端信號連接。
5.根據(jù)權利要求1所述的一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法，其特征在于：所述數(shù)據(jù)計算模塊的輸出端與數(shù)據(jù)分布模塊的輸入端信號連接，數(shù)據(jù)分布模塊的輸出端與時間計算模塊的輸入端信號連接，時間計算模塊的輸出端與周期判斷模塊的輸入端信號連接。
6.根據(jù)權利要求1所述的一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法，其特征在于：所述周期判斷模塊將判斷后的信號傳輸給模型分發(fā)模塊，模型分發(fā)模塊將模型數(shù)據(jù)分發(fā)給客戶端，周期判斷模塊的輸出端與模型分發(fā)模塊的輸入端信號連接，模型分發(fā)模塊的輸出端與客戶端的輸入端信號連接。
7.根據(jù)權利要求1所述的一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法，其特征在于：所述時間計算模塊采用time模塊，time.localtime([secs])：將一個時間戳轉換為當前時區(qū)的struct_time，secs，則以當前時間為準。
...【技術特征摘要】
1.一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法，包括采用的終端處理器，其特征在于：所述終端處理器的一端設置有數(shù)據(jù)傳輸模塊，數(shù)據(jù)傳輸模塊的一端設置有數(shù)據(jù)轉換模塊，數(shù)據(jù)轉換模塊的一端設置有數(shù)據(jù)分析模塊，數(shù)據(jù)分析模塊的一端設置有數(shù)據(jù)對比模塊，數(shù)據(jù)對比模塊的一端設置有數(shù)據(jù)選擇模塊，數(shù)據(jù)選擇模塊的一端設置有數(shù)據(jù)計算模塊，數(shù)據(jù)計算模塊的一端設置有數(shù)據(jù)分布模塊，數(shù)據(jù)分布模塊的一端設置有時間計算模塊，時間計算模塊的一端設置有周期判斷模塊，周期判斷模塊的一端設置有模型分發(fā)模塊，模型分發(fā)模塊的一端與客戶端連接；
2.根據(jù)權利要求1所述的一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法，其特征在于：所述終端處理器的輸出端連接有存儲模塊，且存儲模塊與終端處理器雙向連接，存儲模塊為雙端口存儲器，雙端口存儲器是一種同時具有兩個獨立端口的存儲器，每個端口都可以獨立地進行讀寫操作，這種存儲器主要用于實現(xiàn)cpu與dma同時訪存，提高數(shù)據(jù)傳輸效率。
3.根據(jù)權利要求1所述的一種聯(lián)邦學習場景中的數(shù)據(jù)選擇方法，其特征在于：所述終端處理器的輸出端與數(shù)據(jù)傳輸模塊的輸入端信號連接，數(shù)據(jù)傳輸模塊的輸出端與數(shù)據(jù)轉換模塊的輸入端信號連接，數(shù)據(jù)轉換模塊的輸出端與數(shù)據(jù)...
【專利技術屬性】
技術研發(fā)人員：苗婕，
申請(專利權)人：北京市大數(shù)據(jù)中心，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。