【技術實現步驟摘要】
本專利技術涉及分布式，特別涉及一種面向大規模分布式系統的輕量化模型自動搜索方法。
技術介紹
1、輕量化網絡搜索技術可以幫助我們在給定的計算資源限制下，找到更加輕量化的網絡結構。這意味著我們可以設計出更小、更高效的神經網絡模型，以適應資源受限的環境，如移動設備、嵌入式系統和邊緣計算設備等。通過減少模型的參數和計算復雜度，輕量化網絡可以節省計算和存儲資源，提高模型的推理速度和效率。盡管輕量化網絡在資源受限環境中具有優勢，但我們仍然希望這些網絡能夠提供高性能的推理能力。通過輕量化網絡搜索技術，我們可以自動地搜索和優化網絡結構，以在資源有限的情況下實現更好的性能表現。這有助于在邊緣設備上實現實時的人工智能應用，提高用戶體驗。
2、傳統的網絡結構設計依賴于人工經驗和試錯，需要大量的時間和精力。而輕量化網絡搜索技術可以自動地搜索和優化網絡結構，減少了人工設計的工作量，提高了設計的效率。通過算法的自動化和高效性，可以更快地找到適合特定任務和資源限制的網絡結構。如何提高自動搜索網絡效率的研究成為亟待解決的關鍵問題。
3、現有技術針對輕量化網絡搜索方法越來越傾向于搜索多個相對較小的細胞，而不是直接搜索整個網絡，以降低搜索成本。以往的方法主要集中在細胞級架構搜索，忽略了網絡級別的搜索，限制了網絡的多樣性和效率，具有局限性。
技術實現思路
1、基于此，本申請實施例提供了一種面向大規模分布式系統的輕量化模型自動搜索方法，現有的輕量化自動化搜索方法忽略了網絡級別的搜索，限制了網絡的多
2、第一方面，提供了一種面向大規模分布式系統的輕量化模型自動搜索方法，該方法包括：
3、s1，確定進行搜索任務的初始神經網絡架構，單元化定義網絡架構中的搜索空間；其中，所述搜索空間中至少包括卷積層單元、池化層單元和全連接層單元；
4、s2，基于初始神經網絡架構計算單元級別相似性，并基于相似性結果確定選擇最相似的單元進行替換生成多個第一神經網絡架構，并從多個第一神經網絡架構中確定出當前最優網絡架構；
5、s3，將當前最優網絡架構與多個第一神經網絡架構計算網絡級別相似性，并基于相似性結果確定出第二神經網絡架構，在給定任務上評估第二神經網絡架構的性能，當第二神經網絡架構的性能優于當前最優網絡架構時，則更新最優網絡架構作為下一訓練批次的初始神經網絡架構；
6、s4，重復執行s2和s3，直到達到預定的搜索次數或達到性能閾值，根據得到的最佳網絡架構，作為最終的輕量化模型輸出。
7、可選地，s2中基于初始神經網絡架構計算單元級別相似性中，具體包括：
8、在當前網絡架構中選擇一個模塊化單元；
9、使用層級最優傳輸度量計算當前單元與其他單元的相似性。
10、可選地，使用層級最優傳輸度量計算當前單元與其他單元的相似性，具體包括：
11、通過公式
12、sunit(uc,uj)＝optimaltransportmrtric(uc,uj)
13、確定層級最優傳輸度量sunit，其中uc表示計算單元，uj表示其他單元。
14、可選地，s2中基于相似性結果確定選擇最相似的單元進行替換生成多個第一神經網絡架構，并從多個第一神經網絡架構中確定出當前最優網絡架構，具體包括：
15、基于相似性計算結果，選擇與當前單元最相似的單元作為變異基因，使用變異基因替換當前單元，生成變異后的第一神經網絡架構；
16、在給定任務上評估變異后的第一神經網絡架構的性能，如果變異網絡架構的性能優于當前最佳網絡架構，則更新最佳網絡架構。
17、可選地，s3中將當前最優網絡架構與多個第一神經網絡架構計算網絡級別相似性，并基于相似性結果確定出第二神經網絡架構，具體包括：
18、計算當前最優網絡架構與其他第一神經網絡架構的相似性；包括計算網絡之間的結構、參數分布或性能趨勢相似性；
19、基于相似性計算結果，選擇與當前網絡架構最相似的網絡架構作為變異基因；使用變異基因替換當前網絡架構，生成變異后的第二神經網絡架構。
20、可選地，計算當前最優網絡架構與其他第一神經網絡架構的相似性，具體包括：
21、通過公式
22、snet(abest,ak)＝similaritymetric(abest,ak)
23、確定相似性度量snet，其中，abest表示當前最佳網絡架構，ak表示其他第一申請網絡架構。
24、第二方面，提供了一種面向大規模分布式系統的輕量化模型自動搜索裝置，該裝置包括：
25、單元化模塊，用于確定進行搜索任務的初始神經網絡架構，單元化定義網絡架構中的搜索空間；其中，所述搜索空間中至少包括卷積層單元、池化層單元和全連接層單元；
26、單元級別比較模塊，基于初始神經網絡架構計算單元級別相似性，并基于相似性結果確定選擇最相似的單元進行替換生成多個第一神經網絡架構，并從多個第一神經網絡架構中確定出當前最優網絡架構；
27、網絡級別比較模塊，將當前最優網絡架構與多個第一神經網絡架構計算網絡級別相似性，并基于相似性結果確定出第二神經網絡架構，在給定任務上評估第二神經網絡架構的性能，當第二神經網絡架構的性能優于當前最優網絡架構時，則更新最優網絡架構作為下一訓練批次的初始神經網絡架構；
28、輸出模塊，重復執行單元級別比較和網絡級別比較，直到達到預定的搜索次數或達到性能閾值，根據得到的最佳網絡架構，作為最終的輕量化模型輸出。
29、第三方面，提供了一種電子設備，包括存儲器和處理器，存儲器存儲有計算機程序，處理器執行計算機程序時實現上述第一方面任一所述的面向大規模分布式系統的輕量化模型自動搜索方法。
30、第四方面，提供了一種計算機可讀存儲介質，其上存儲有計算機程序，計算機程序被處理器執行時實現上述第一方面任一所述的面向大規模分布式系統的輕量化模型自動搜索方法。
31、第五方面，提供了一種計算機程序產品，包括計算機程序/指令，計算機程序/指令被處理器執行時實現上述第一方面任一所述的面向大規模分布式系統的輕量化模型自動搜索方法。
32、本申請實施例提供的技術方案包括：定義神經架構搜索的目標是找到在給定任務上性能最佳的神經網絡架構。選擇模塊化單元構成的搜索空間作為網絡架構的表示方式。隨機或使用預定義的初始網絡架構作為起點。在當前網絡架構中選擇一個模塊化單元。通過使用層級最優傳輸度量計算單元級別相似性，比較該單元與其他單元的相似性?；谙嗨菩杂嬎憬Y果，選擇與當前單元最相似的單元作為變異基因。使用變異基因替換當前單元，生成變異的網絡架構。評估變異網絡架構的性能，并更新當前最佳網絡架構。在當前最佳網絡架構中選擇一個單元。通過使用計算網絡級別相似性，比較該網絡架構與其他網絡架構的相似性本文檔來自技高網...
【技術保護點】
1.一種面向大規模分布式系統的輕量化模型自動搜索方法，其特征在于，所述方法包括：
2.根據權利要求1所述的輕量化模型自動搜索方法，其特征在于，S2中基于初始神經網絡架構計算單元級別相似性中，具體包括：
3.根據權利要求2所述的輕量化模型自動搜索方法，其特征在于，使用層級最優傳輸度量計算當前單元與其他單元的相似性，具體包括：
4.根據權利要求1所述的輕量化模型自動搜索方法，其特征在于，S2中基于相似性結果確定選擇最相似的單元進行替換生成多個第一神經網絡架構，并從多個第一神經網絡架構中確定出當前最優網絡架構，具體包括：
5.根據權利要求1所述的輕量化模型自動搜索方法，其特征在于，S3中將當前最優網絡架構與多個第一神經網絡架構計算網絡級別相似性，并基于相似性結果確定出第二神經網絡架構，具體包括：
6.根據權利要求5所述的輕量化模型自動搜索方法，其特征在于，計算當前最優網絡架構與其他第一神經網絡架構的相似性，具體包括：
7.一種面向大規模分布式系統的輕量化模型自動搜索裝置，其特征在于，所述裝置包括：
8.
9.一種計算機可讀存儲介質，其特征在于，其上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至6任一所述方法的步驟。
10.一種計算機程序產品，包括計算機程序/指令，其特征在于，該計算機程序/指令被處理器執行時實現權利要求1至6中任一項所述方法的步驟。
...【技術特征摘要】
1.一種面向大規模分布式系統的輕量化模型自動搜索方法，其特征在于，所述方法包括：
2.根據權利要求1所述的輕量化模型自動搜索方法，其特征在于，s2中基于初始神經網絡架構計算單元級別相似性中，具體包括：
3.根據權利要求2所述的輕量化模型自動搜索方法，其特征在于，使用層級最優傳輸度量計算當前單元與其他單元的相似性，具體包括：
4.根據權利要求1所述的輕量化模型自動搜索方法，其特征在于，s2中基于相似性結果確定選擇最相似的單元進行替換生成多個第一神經網絡架構，并從多個第一神經網絡架構中確定出當前最優網絡架構，具體包括：
5.根據權利要求1所述的輕量化模型自動搜索方法，其特征在于，s3中將當前最優網絡架構與多個第一神經網絡架構計算網絡級別相似性，并基于相似性結果確定...
【專利技術屬性】
技術研發人員：趙朝陽，王金橋，周偉杰，吳勁，
申請(專利權)人：中科視語北京科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。