【技術實現步驟摘要】
本申請涉及加速卡測試，尤其涉及一種人工智能加速卡推理性能檢測方法、裝置、電子設備、存儲介質及計算機程序產品。
技術介紹
1、人工智能加速卡是人工智能時代重要的算力基礎，隨著人工智能技術及國內外人工智能加速卡廠商的迅速發展，人工智能加速卡的應用范圍和場景從特定專用向廣泛通用快速發展。在推理場景中，人工智能加速卡主要用于將訓練好的算法或模型部署到應用或服務中，人工智能加速卡的推理性能是其核心性能指標。由于不同人工智能加速卡的硬件架構差異大，相配套的軟件棧多樣，導致無法通過簡單的方式進行人工智能加速卡推理性能的評估?，F有的測試方法如下：通過使用人工智能加速卡自帶的性能測試工具，對人工智能加速卡的推理性能進行測試。通常情況下僅能反映被測人工智能加速卡的理論算力(與標稱值接近)，無法準確反映被測人工智能加速卡在特定推理場景下的的性能表現，且考慮到人工智能加速卡的推理性能表現是其硬件、軟件棧與操作系統等綜合配合的表現，理論算力的高低與推理性能的高低不具有直接關聯關系，因此該方法確定的推理性能與特定推理場景下的實際性能表現相差較大。
技術實現思路
1、本申請實施例提供的一種人工智能加速卡推理性能檢測方法、裝置、電子設備、存儲介質及計算機程序產品，可以提高在特定推理場景下的推理性能檢測準確度。
2、本申請的技術方案是這樣實現的：
3、本申請實施例提供了一種人工智能加速卡推理性能檢測方法，包括：
4、基于預設應用類別以及加速卡的基本信息，確定配置信息集合；其中，所
5、基于所述配置信息集合對所述加速卡進行推理測試，確定性能檢測結果。
6、上述方案中，所述配置信息集合包括：模型網絡、推理數據和推理配置數據；所述基于預設應用類別以及加速卡的基本屬性，確定配置信息集合，包括：
7、獲取所述加速卡的所述基本信息；
8、基于所述預設應用類別確定匹配的所述模型網絡和所述推理數據；
9、通過預設程序對所述基本信息、所述模型網絡和所述推理數據進行處理確定所述推理配置數據；其中，所述推理配置數據用于表征對所述加速卡進行所述預設應用類別的性能檢測時的數據輸入配置信息，以及加速卡數量配置信息。
10、上述方案中，所述數據輸入配置信息包括：對每一所述加速卡進行所述預設應用類別的性能檢測時的數據批量大小信息和數據輸入大小信息。
11、上述方案中，所述基于所述配置信息集合對所述加速卡進行推理測試，確定性能檢測結果，包括：
12、將所述模型網絡針對所述加速卡進行轉換并配置在所述加速卡上；
13、按照所述數據輸入配置信息將所述推理數據輸入到所述加速卡中進行推理測試；其中，參與推理測試的所述加速卡數量是基于所述加速卡數量配置信息確定的；
14、獲取針對所述加速卡進行推理測試過程中的推理指標，以及針對所述推理數據的推理結果；
15、基于所述推理指標和所述推理結果確定所述性能檢測結果。
16、上述方案中，所述基于所述推理指標和所述推理結果確定所述性能檢測結果，包括：
17、基于所述推理結果與所述推理數據對應的真實結果，確定針對所述加速卡的推理精度信息；
18、基于所述推理指標和所述推理精度信息確定所述性能檢測結果。
19、上述方案中，所述推理指標包括以下中的一個或多個：硬件推理時長、端到端推理時長、端到端推理吞吐率和硬件推理吞吐率。
20、上述方案中，所述預設應用類別包括：多個子預設應用類別；所述配置信息集合包括：每一所述子預設應用類別對應的子配置信息集合；
21、所述基于所述配置信息集合對所述加速卡進行推理測試，確定性能檢測結果，包括：
22、基于每一所述子配置信息集合對所述加速卡進行推理測試，確定對應每一所述子配置信息集合的子檢測結果；
23、聯合每一所述子檢測結果確定所述性能檢測結果。
24、本申請實施例還提供了一種人工智能加速卡推理性能檢測裝置，包括：
25、確定單元，用于基于預設應用類別以及加速卡的基本信息，確定配置信息集合；其中，所述配置信息集合包括對所述加速卡進行所述預設應用類別的性能檢測時的配置信息；
26、推理檢測單元，用于基于所述配置信息集合對所述加速卡進行推理測試，確定性能檢測結果。
27、本申請實施例還提供了一種電子設備，包括存儲器和處理器，所述存儲器存儲有可在處理器上運行的計算機程序，所述處理器執行所述程序時實現上述方法中的步驟。
28、本申請實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現上述方法中的步驟。
29、本申請實施例還提供了一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執行時實現上述方法中的步驟。
30、本申請實施例中，基于預設應用類別以及加速卡的基本信息，確定配置信息集合；其中，配置信息集合包括對加速卡進行預設應用類別的性能檢測時的配置信息；基于配置信息集合對加速卡進行推理測試，確定性能檢測結果。這樣，由于配置信息集合中包括了對加速卡進行預設應用類別的性能檢測時的配置信息，所以利用該配置信息集合對加速卡進行推理測試時，考慮到加速卡的基本信息的同時也考慮到了對加速卡進行預設應用類別測試時的配置需求，所以確定的性能檢測結果與加速卡在預設應用類別場景下的性能表現更加貼合，進而確定的性能檢測結果準確度更高。
本文檔來自技高網...【技術保護點】
1.一種人工智能加速卡推理性能檢測方法，其特征在于，包括：
2.根據權利要求1所述的人工智能加速卡推理性能檢測方法，其特征在于，所述配置信息集合包括：模型網絡、推理數據和推理配置數據；所述基于預設應用類別以及加速卡的基本屬性，確定配置信息集合，包括：
3.根據權利要求2所述的人工智能加速卡推理性能檢測方法，其特征在于，所述數據輸入配置信息包括：對每一所述加速卡進行所述預設應用類別的性能檢測時的數據批量大小信息和數據輸入大小信息。
4.根據權利要求2或3所述的人工智能加速卡推理性能檢測方法，其特征在于，所述基于所述配置信息集合對所述加速卡進行推理測試，確定性能檢測結果，包括：
5.根據權利要求4所述的人工智能加速卡推理性能檢測方法，其特征在于，所述基于所述推理指標和所述推理結果確定所述性能檢測結果，包括：
6.根據權利要求5所述的人工智能加速卡推理性能檢測方法，其特征在于，所述推理指標包括以下中的一個或多個：硬件推理時長、端到端推理時長、端到端推理吞吐率和硬件推理吞吐率。
7.根據權利要求1所述的人工智能加速卡
8.一種人工智能加速卡推理性能檢測裝置，其特征在于，包括：
9.一種電子設備，其特征在于，包括存儲器和處理器，所述存儲器存儲有可在處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現權利要求1至7任一項所述方法中的步驟。
10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7任一項所述方法中的步驟。
11.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序在被處理器執行時實現權利要求1至7任一項所述方法中的步驟。
...【技術特征摘要】
1.一種人工智能加速卡推理性能檢測方法，其特征在于，包括：
2.根據權利要求1所述的人工智能加速卡推理性能檢測方法，其特征在于，所述配置信息集合包括：模型網絡、推理數據和推理配置數據；所述基于預設應用類別以及加速卡的基本屬性，確定配置信息集合，包括：
3.根據權利要求2所述的人工智能加速卡推理性能檢測方法，其特征在于，所述數據輸入配置信息包括：對每一所述加速卡進行所述預設應用類別的性能檢測時的數據批量大小信息和數據輸入大小信息。
4.根據權利要求2或3所述的人工智能加速卡推理性能檢測方法，其特征在于，所述基于所述配置信息集合對所述加速卡進行推理測試，確定性能檢測結果，包括：
5.根據權利要求4所述的人工智能加速卡推理性能檢測方法，其特征在于，所述基于所述推理指標和所述推理結果確定所述性能檢測結果，包括：
6.根據權利要求5所述的人工智能加速卡推理性能檢測方法，其特征在...
【專利技術屬性】
技術研發人員：劉振，王汝佳，張鵬飛，唐本亭，楊?？?/a>，郗卓寧，魯江華，馮保強，朱瑞平，
申請(專利權)人：中國移動通信有限公司研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。