【技術實現步驟摘要】
本公開涉及用于評估人工智能(ai)芯片(特別是人工智能(ai)圖像信號處理(isp)芯片)設計的實現資源的方法、裝置和系統。
技術介紹
1、隨著人工智能技術的不斷發展，對人工智能相關芯片的需求也與日劇增。將ai技術應用到isp(圖像信號處理)領域也成為了發展的趨勢。人工智能圖像信號處理(ai-isp)能夠在傳統的isp架構的基礎上，充分發揮ai處理的能力，尤其在降噪、高動態融合(hdr)等圖像處理領域，相對于傳統算法有明顯的效果優勢。因此，基于ai-isp的芯片設計也成為了研究的熱點。
2、在進行ai-isp芯片的硬件架構設計的過程中，需要將人工智能(例如神經網絡或神經網絡模型)的每一層的計算方式進行硬化(硬件)實現。這個過程需要算法工程師將選取的算法模型提交給芯片工程師，芯片工程師需要理解并設計每一層的實現方式，然后逐層統計相應的資源，再將統計結果反饋給算法工程師進行評估與后續優化。這個過程是繁瑣的。尤其是，當芯片工程師需要評估比較多個模型的時候，整個工作會變得格外繁重低效。
3、本公開提供了新穎的用于評估人工智能(ai)芯片(特別是人工智能(ai)圖像信號處理(isp)芯片)設計的實現資源的方法、裝置、系統。
技術實現思路
1、根據本公開一個方面，提供了一種評估人工智能(ai)芯片設計的實現資源的方法，包括：解析用于所述芯片的神經網絡模型的表示，以生成網絡模型數據，所述網絡模型數據包括神經網絡模型的各層的算子、與算子相關的參數集以及層之間的連接關系；基于
2、在一些實施例中，所述方法還包括：利用所述算子庫的條目所規定的算子以及用于該算子的參數集，對神經網絡進行訓練，以得到經訓練的神經網絡模型的表示，其中在所述經訓練的神經網絡模型的表示中，算子及相關參數集的配置與算子庫中對應的條目中該算子及其相關參數集的配置一致。
3、在一些實施例中，所述方法還包括：構建算子庫，包括：確定與所述芯片設計相關的運算以及對應的算子和參數集；確定在芯片上以所述參數集進行與該算子對應的運算的硬件實現方式；確定計算與該硬件實現方式對應的資源的算法；以及定義用于該算子的條目，所述條目規定對應的算子、用于該算子的參數集、以及用于計算與該算子對應的硬件實現所需的資源的算法。
4、在一些實施例中，所述與該算子對應的硬件實現所需的資源包括：要在芯片上實現該算子所需的部件的類型和數量。
5、在一些實施例中，所述方法用于評估ai圖像信號處理(isp)芯片設計的實現資源。
6、在一些實施例中，所述算子可以為：基礎算子或組合算子，所述組合算子由多個基礎算子組合而成。
7、在一些實施例中，所述神經網絡模型的表示采用onnx格式。
8、在一些實施例中，所述條目包括初始化函數以及資源計算函數和延遲計算函數中的一個或多個，其中，所述初始化函數用于利用給定參數集對算子進行初始化，所述資源計算函數用于計算所述算子在相應的參數集下需要的硬件資源，所述延遲計算函數用于計算與所述算子相關聯的延遲對應的緩存所需的資源。
9、在一些實施例中，所述條目被實施為類或其編譯版本或可執行版本。
10、在一些實施例中，所述方法還包括：綜合所需要的資源，生成資源報表。
11、在一些實施例中，基于算子庫對所述網絡模型數據進行分析以確定實現神經網絡模型的各層所需要的資源包括：進行初始化，包括：基于用于所述神經網絡模型的初始圖像的參數設定，所述各層的算子及相關參數集，以及層之間的連接關系，調用算子庫的相應條目，生成各層的相應算子的實例，其中所述各層的相應算子的實例基于所述層之間的連接關系從相應層的算子的實例接收輸入。
12、在一些實施例中，基于算子庫對所述網絡模型數據進行分析以確定實現神經網絡模型的各層所需要的資源還包括：基于算子庫的條目中計算與該算子對應的硬件實現所需的資源的算法，計算各算子的實例所需要的資源。
13、在一些實施例中，基于算子庫對所述網絡模型數據進行分析以確定實現神經網絡模型的各層所需要的資源還包括：確定在所述神經網絡模型中是否存在具有多輸入的層，在所述具有多輸入的層處接收來自至少兩個路徑的輸入；確定所述具有多輸入的層處的至少兩個路徑的輸入之間是否存在需要處理的延遲；確定與所述延遲相應的緩存所需的資源。
14、在一些實施例中，所述方法還包括：基于所需要的資源對神經網絡模型進行評估，以選擇優化的用于該神經網絡模型的硬件實現方式。
15、根據本公開另一方面，還提供了一種計算機系統，包括：處理器；以及存儲器，所述存儲器中存儲有程序，所述程序在由所述處理器執行時，使處理器執行如本公開任意實施例所述的方法。
16、根據本公開另一方面，還提供了一種評估人工智能(ai)圖像信號處理(isp)芯片設計的實現資源的裝置，包括：網絡模型數據生成構件，用于解析用于人工智能(ai)芯片的神經網絡模型的表示以生成網絡模型數據，所述網絡模型數據包括神經網絡模型的各層的算子及相關參數集以及層之間的連接關系；算子庫，所述算子庫包括至少一個條目，所述條目規定對應的算子、用于該算子的參數集、以及用于計算與該算子對應的硬件實現所需的資源的算法，其中所述神經網絡模型的表示中算子及相關參數集的配置與算子庫中對應的條目中該算子及其相關參數集的配置一致；分析構件，用于基于算子庫對所述網絡模型數據進行分析以確定實現神經網絡模型的各層所需要的資源。
17、在一些實施例中，所述分析構件包括：用于進行初始化的構件，包括：基于用于所述神經網絡模型的初始圖像的參數設定，所述各層的算子及相關參數集，以及層之間的連接關系，調用算子庫的條目，生成各層的相應算子的實例的構件，其中所述各層的相應算子的實例基于所述層之間的連接關系從相應層的算子的實例接收輸入。
18、在一些實施例中，所述分析構件還包括：用于基于算子庫的條目中計算與該算子對應的硬件實現所需的資源的算法計算各算子的實例所需要的資源的構件。
19、在一些實施例中，所述分析構件還包括延遲計算構件，用于：確定在所述神經網絡模型中是否存在多輸入層，在多輸入層處接收來自至少兩個路徑的輸入；確定多輸入層處的至少兩個輸入之間是否存在延遲；確定與所述延遲相應的緩存所需的資源。
20、在一些實施例中，所述裝置還包括下列中的至少一個：資源報表生成構件，用于綜合各層所需要的資源，生成資源報表；神經網絡訓練構件，用于利用所述算子庫的條目所規定的算子以及用于該算子的參數集，對神經網絡進行訓練，以得到經訓練的神經網絡模型的表示；以及評估構件，用于基于所需要的資源對神經網絡模型進行評估，以選擇優化的用于該神經網絡模型的硬件實現方式。
21、通過以下本文檔來自技高網...
【技術保護點】
1.一種評估人工智能(AI)芯片設計的實現資源的方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，還包括：
3.根據權利要求1所述的方法，其特征在于，還包括：
4.根據權利要求1所述的方法，其特征在于，所述與該算子對應的硬件實現所需的資源包括：要在芯片上實現該算子所需的部件的類型和數量。
5.根據權利要求1所述的方法，其特征在于，所述方法用于評估AI圖像信號處理(ISP)芯片設計的實現資源。
6.根據權利要求1所述的方法，其特征在于，所述算子為：
7.根據權利要求1所述的方法，其特征在于，其中所述神經網絡模型的表示采用ONNX格式。
8.根據權利要求1所述的方法，其特征在于，所述條目包括初始化函數以及資源計算函數和延遲計算函數中的一個或多個，
9.根據權利要求1所述的方法，其特征在于，所述條目被實施為類或其編譯版本或可執行版本。
10.根據權利要求1-9中任一項所述的方法，其特征在于，基于算子庫對所述網絡模型數據進行分析以確定實現神經網絡模型的各層所需要的
11.根據權利要求10所述的方法，其特征在于，基于算子庫對所述網絡模型數據進行分析以確定實現神經網絡模型的各層所需要的資源還包括：
12.根據權利要求1所述的方法，其特征在于，基于算子庫對所述網絡模型數據進行分析以確定實現神經網絡模型的各層所需要的資源還包括：
13.根據權利要求1-9和11-12中任一項所述的方法，其特征在于，還包括：
14.一種計算機系統，其特征在于，包括：
15.一種評估人工智能(AI)圖像信號處理(ISP)芯片設計的實現資源的裝置，其特征在于，包括：
16.根據權利要求15所述的裝置，其特征在于，所述分析構件包括：
17.根據權利要求16所述的裝置，其特征在于，所述分析構件還包括：
18.根據權利要求16所述的裝置，其特征在于，所述分析構件還包括延遲計算構件，用于：
19.根據權利要求15-18中任一項所述的裝置，其特征在于，還包括下列中的一個或多個：
...【技術特征摘要】
1.一種評估人工智能(ai)芯片設計的實現資源的方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，還包括：
3.根據權利要求1所述的方法，其特征在于，還包括：
4.根據權利要求1所述的方法，其特征在于，所述與該算子對應的硬件實現所需的資源包括：要在芯片上實現該算子所需的部件的類型和數量。
5.根據權利要求1所述的方法，其特征在于，所述方法用于評估ai圖像信號處理(isp)芯片設計的實現資源。
6.根據權利要求1所述的方法，其特征在于，所述算子為：
7.根據權利要求1所述的方法，其特征在于，其中所述神經網絡模型的表示采用onnx格式。
8.根據權利要求1所述的方法，其特征在于，所述條目包括初始化函數以及資源計算函數和延遲計算函數中的一個或多個，
9.根據權利要求1所述的方法，其特征在于，所述條目被實施為類或其編譯版本或可執行版本。
10.根據權利要求1-9中任一項所述的方法，其特征在于，基于算子庫對所述網絡模型數據...
【專利技術屬性】
技術研發人員：王務侖，萬紅星，楊作興，
申請(專利權)人：深圳比特微電子科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。