【技術實現步驟摘要】
本說明書涉及計算機和人工智能領域，尤其涉及一種深度學習加速器軟硬件協同方法及裝置。
技術介紹
1、深度學習加速器是一種專門設計用于加速深度學習計算的硬件，隨著深度學習技術的快速發展，處理大量數據和復雜模型所需的計算量也在不斷增加，因此，深度學習加速器在提升計算性能和計算效率方面有重要的作用。
2、而深度學習加速器是ai芯片的一種類型，用于加速深度學習和人工智能任務中的計算過程。
3、以當前來看，在人工智能（artificial?intelligence，ai）芯片設計方面，通常采用軟硬件融合的設計方法，來充分利用ai模型的計算特性和訪存特性，以實現更高效的計算以及更好的性能。
4、在ai芯片設計中，需要仔細配置計算、存儲和通信等硬件資源，還要確保ai模型在芯片上進行運行時，有良好的性能和快速的計算速度，所以，目前需要對模型進行部署時，從硬件和軟件層面上設計出相應的部署方案，但目前模型的部署方案策略，并不能有效提高模型的運行速度以及性能。
5、另外，多模型同步運行，ai?算法在單個任務（例如手部跟蹤、深度估計、語音識別）中的成功導致了多模型?ai?工作負載的出現。ai加速器高效設計，為了滿足現代?ai?工作負載不斷增長的計算需求與不斷變化的應用需求，需要高效的專用芯片設計方法。
6、面對以上難題，如何更加準確地進行模型的部署，則是一個亟待解決的問題。
技術實現思路
1、本說明書實施例提供一種深度學習加速器軟硬件協同方法及裝置
2、本說明書實施例采用下述技術方案：
3、本說明書提供的一種深度學習加速器軟硬件協同方法，包括：
4、獲取目標模型的模型參數以及加速器面積約束，所述加速器面積約束用于表征加速器分配給目標模型的硬件配置預算；
5、根據所述加速器面積約束中所包含的硬件參數配置，確定出初始硬件參數配置樣本；
6、將所述初始硬件參數配置樣本對應的硬件參數以及所述模型參數輸入到預設的軟件優化器中，以使所述軟件優化器在給定所述初始硬件參數配置樣本對應的硬件運行環境下，確定各初始模型運行信息，并基于所述各初始模型運行信息，確定候選模型運行信息；
7、將所述候選模型運行信息輸入到預設的分析模型中，以通過所述分析模型，預測按照所述候選模型運行信息對應的候選模型運行方式在所述初始硬件參數配置樣本對應的硬件運行環境下執行所述目標模型的運算任務時所得到的任務效率表征值，根據所述候選模型運行方式對應的任務效率表征值，確定在給定所述候選模型運行方式的條件下，下輪迭代的初始硬件參數配置樣本，以將所述下輪迭代的初始硬件參數配置樣本發送給所述軟件優化器，以使所述軟件優化器根據所述下輪迭代的初始硬件參數配置樣本以及所述模型參數，確定出下輪迭代所對應的候選模型運行方式，直到滿足預設的迭代條件為止，得到目標模型運行方式以及目標硬件參數配置；
8、在目標設備上配置所述目標硬件參數配置對應的目標硬件運行環境，并基于所述目標硬件運行環境，在所述目標設備上部署所述目標模型，以按照所述目標模型運行方式，在所述目標設備上執行所述目標模型對應的運算任務。
9、可選地，基于所述各初始模型運行信息，確定候選模型運行信息，具體包括：
10、從所述各初始模型運行信息中進行抽樣，得到抽樣模型運行信息；
11、將所述抽樣模型運行信息以及所述初始硬件參數配置樣本輸入到預設的評估器中，以通過所述評估器，預測按照所述抽樣模型運行信息在所述初始硬件參數配置樣本對應的硬件運行環境下執行所述目標模型的運算任務時所得到的任務效率表征值，作為抽樣表征值；
12、將所述抽樣表征值、所述抽樣模型運行信息以及所述初始硬件參數配置樣本輸入到所述軟件優化器中，以在所述初始硬件參數配置樣本對應的硬件運行環境下，通過所述軟件優化器對所述抽樣表征值以及所述抽樣模型運行信息進行擬合，得到第一優化模型；
13、通過所述第一優化模型，基于所述各初始模型運行信息，確定候選模型運行信息。
14、可選地，根據所述候選模型運行方式對應的任務效率表征值，確定在給定所述候選模型運行方式的條件下，下輪迭代的初始硬件參數配置樣本，具體包括：
15、將所述候選模型運行方式對應的任務效率表征值、所述候選模型運行方式以及所述初始硬件參數配置樣本輸入到預設的硬件優化器中，以通過所述硬件優化器，確定在給定所述候選模型運行方式的條件下，下輪迭代的初始硬件參數配置樣本。
16、可選地，通過所述硬件優化器，確定在給定所述候選模型運行方式的條件下，下輪迭代的初始硬件參數配置樣本，具體包括：
17、基于所述候選模型運行方式，通過所述硬件優化器對所述候選模型運行方式對應的任務效率表征值以及所述初始硬件參數配置樣本進行擬合，得到第二優化模型；
18、基于所述目標模型執行任務時所需的各硬件參數配置，通過所述第二優化模型，確定在給定所述候選模型運行方式的條件下各基礎硬件參數配置樣本；
19、將所述各基礎硬件參數配置樣本輸入到預設的評估器中，以通過所述評估器，預測按照所述各基礎硬件參數配置樣本對應的硬件運行環境下執行所述目標模型的運算任務時所得到的任務效率表征值，作為每個基礎硬件參數配置樣本對應的任務效率表征值；
20、根據每個基礎硬件參數配置樣本對應的任務效率表征值，確定下輪迭代的初始硬件參數配置樣本。
21、可選地，直到滿足預設的迭代條件為止，得到目標模型運行方式以及目標硬件參數配置，具體包括；
22、若監測到到達預設輪次后前后兩輪所對應的初始硬件參數配置樣本對應的任務效率表征值之間的偏差小于預設偏差，則確定滿足預設的迭代條件，并將預設的迭代條件時所得到的初始硬件參數配置樣本，作為目標硬件參數配置，以及將所述軟件優化器基于所述目標硬件參數配置所確定的候選模型運行方式，作為目標模型運行方式。
23、可選地，目標模型包括至少一個用于執行運算任務的模型。
24、本說明書提供的一種深度學習加速器軟硬件協同裝置，包括：
25、獲取模塊，用于獲取目標模型的模型參數以及加速器面積約束，所述加速器面積約束用于表征加速器分配給目標模型的硬件配置預算；
26、第一確定模塊，用于根據所述加速器面積約束中所包含的硬件參數配置，確定出初始硬件參數配置樣本；
27、第二確定模塊，用于將所述初始硬件參數配置樣本對應的硬件參數以及所述模型參數輸入到預設的軟件優化器中，以使所述軟件優化器在給定所述初始硬件參數配置策略對應的硬件運行環境下，確定各初始模型運行信息，并基于所述各初始模型運行信息，確定候選模型運行信息；
28、分析模塊，用于將所述候選模型運行信息輸入到預設的分析模型中，以通過所述分析模型，預測按照所述候選模型運行信息對應的候選模型運行方式在所述初始硬件參數配置本文檔來自技高網...
【技術保護點】
1.一種深度學習加速器軟硬件協同方法，其特征在于，包括：
2.如權利要求1所述的方法，其特征在于，基于所述各初始模型運行信息，確定候選模型運行信息，具體包括：
3.如權利要求1所述的方法，其特征在于，根據所述候選模型運行方式對應的任務效率表征值，確定在給定所述候選模型運行方式的條件下，下輪迭代的初始硬件參數配置樣本，具體包括：
4.如權利要求3所述的方法，其特征在于，通過所述硬件優化器，確定在給定所述候選模型運行方式的條件下，下輪迭代的初始硬件參數配置樣本，具體包括：
5.如權利要求1所述的方法，其特征在于，直到滿足預設的迭代條件為止，得到目標模型運行方式以及目標硬件參數配置，具體包括：
6.如權利要求1~5任一項所述的方法，其特征在于，目標模型包括至少一個用于執行運算任務的模型。
7.一種深度學習加速器軟硬件協同裝置，其特征在于，包括：
8.如權利要求7所述的裝置，其特征在于，所述第二確定模塊具體用于，從所述各初始模型運行信息中進行抽樣，得到抽樣模型運行信息；將所述抽樣模型運行信息以及所述初始硬
9.一種計算機可讀存儲介質，其特征在于，所述存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現上述權利要求1-6?任一項所述的方法。
10.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現上述權利要求1-6?任一項所述的方法。
...【技術特征摘要】
1.一種深度學習加速器軟硬件協同方法，其特征在于，包括：
2.如權利要求1所述的方法，其特征在于，基于所述各初始模型運行信息，確定候選模型運行信息，具體包括：
3.如權利要求1所述的方法，其特征在于，根據所述候選模型運行方式對應的任務效率表征值，確定在給定所述候選模型運行方式的條件下，下輪迭代的初始硬件參數配置樣本，具體包括：
4.如權利要求3所述的方法，其特征在于，通過所述硬件優化器，確定在給定所述候選模型運行方式的條件下，下輪迭代的初始硬件參數配置樣本，具體包括：
5.如權利要求1所述的方法，其特征在于，直到滿足預設的迭代條件為止，得到目標模型運行方式以及目標硬件參數配置，具體包括：
6.如權利要求1~5任一項所述的方法，其特征在于，目標模型包括至少一個用于執行運算任務的模型。
7.一種深度學習加速器軟硬件協同裝置，其特征在于，包括：
8.如權利要求7所述的裝置，其特征在于，所述第二確定模塊具體用于，從所述各初...
【專利技術屬性】
技術研發人員：侯瑞崢，程穩，崔鈺，劉懿，呂波，曾令仿，
申請(專利權)人：之江實驗室，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。