推理系統、推理方法、電子設備及計算機存儲介質技術方案

本發明專利技術實施例提供了一種推理系統及方法，其中，推理系統包括相互連接的第一計算設備和第二計算設備，第一計算設備中設置有推理客戶端，第二計算設備中包括推理加速資源以及推理服務端；推理客戶端用于獲取進行推理的計算模型的模型信息和待推理數據，并分別將模型信息和待推理數據發送至第二計算設備中的推理服務端；推理服務端用于通過推理加速資源載入并調用模型信息指示的計算模型，通過計算模型對待推理數據進行推理處理并向推理客戶端反饋推理處理的結果。

【技術實現步驟摘要】
推理系統、推理方法、電子設備及計算機存儲介質
本專利技術實施例涉及計算機
，尤其涉及一種推理系統、推理方法、電子設備及計算機存儲介質。
技術介紹
深度學習一般分為訓練和推理(Inference)兩個部分，其中，通過訓練部分搜索和求解模型的最優參數，而通過推理部分則可以將訓練完成的模型部署在在線環境中，以進行實際使用。以人工智能領域為例，推理在部署后，可通過神經網絡推導計算將輸入轉化為特定目標輸出。例如，對圖片進行物體檢測、對文字內容進行分類等，在視覺、語音、推薦等場景被廣泛應用。目前，大部分的推理依賴于具有推理加速卡如GPU(GraphicsProcessingUnit，圖形處理器)的硬件計算資源。例如，在人工智能推理中，一種方式是GPU通過PCIE(PeripheralComponentInterconnectExpress，高速串行計算機擴展總線標準)插槽與計算機主機連接。其中，推理涉及的前后處理和其他業務邏輯通過CPU計算，而推理的處理則通過PCIE插槽發送到GPU進行計算，形成典型的異構計算場景。例如，在圖1所示的電子設備100中，同時設置有CPU102和GPU104，GPU104可以通過PCIE插槽106設置于電子設備主板108上，并通過主板108上的主板線路與CPU102交互。在一個推理過程中，CPU102首先對相關數據或信息進行處理，進而將處理后的數據或信息通過PCIE插槽106發送到GPU104，GPU104根據接收的數據或信息，使用GPU104中的計算模型進行推理處理，之后，再將推理處理結果返回給CPU102，CPU102再進行相應的后續處理。但是，上述方式存在以下問題：需要CPU和GPU同臺的異構計算機器，且該異構計算機器中的CPU/GPU的規格固定，這種固定的CPU/GPU性能配比限制了涉及推理的應用的部署，導致無法滿足廣泛的推理場景需求。
技術實現思路
有鑒于此，本專利技術實施例提供一種推理方案，以解決上述部分或全部問題。根據本專利技術實施例的第一方面，提供了一種推理系統，包括相互連接的第一計算設備和第二計算設備，其中，所述第一計算設備中設置有推理客戶端，所述第二計算設備中設置有推理加速資源以及推理服務端；其中：所述推理客戶端用于獲取進行推理的計算模型的模型信息和待推理數據，并分別將所述模型信息和所述待推理數據發送至所述第二計算設備中的推理服務端；所述推理服務端用于通過推理加速資源載入并調用所述模型信息指示的計算模型，通過所述計算模型對所述待推理數據進行推理處理并向所述推理客戶端反饋所述推理處理的結果。根據本專利技術實施例的第二方面，提供了一種推理方法，所述方法包括：獲取進行推理的計算模型的模型信息，并將所述模型信息發送至目標計算設備，以指示所述目標計算設備使用所述目標計算設備中設置的推理加速資源載入所述模型信息指示的計算模型；獲取待推理數據，并將所述待推理數據發送至所述目標計算設備，以指示所述目標計算設備使用推理加速資源調用載入的所述計算模型，通過所述計算模型對所述待推理數據進行推理處理；接收所述目標計算設備反饋的所述推理處理的結果。根據本專利技術實施例的第三方面，提供了另一種推理方法，所述方法包括：獲取源計算設備發送的用于推理的計算模型的模型信息，通過推理加速資源載入所述模型信息指示的計算模型；獲取所述源計算設備發送的待推理數據，使用推理加速資源調用載入的所述計算模型，通過所述計算模型對所述待推理數據進行推理處理；向所述源計算設備反饋所述推理處理的結果。根據本專利技術實施例的第四方面，提供了一種電子設備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；所述存儲器用于存放至少一可執行指示，所述可執行指示使所述處理器執行如第二方面所述的推理方法對應的操作，或者，所述可執行指示使所述處理器執行如第三方面所述的推理方法對應的操作。根據本專利技術實施例的第五方面，提供了一種計算機存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如第二方面所述的推理方法；或者，實現如第三方面所述的推理方法。根據本專利技術實施例提供的推理方案，將推理處理部署在不同的第一和第二計算設備中，其中，第二計算設備中設置有推理加速資源，可以通過計算模型進行主要的推理處理，而第一計算設備則可以負責推理處理之前和之后的數據處理。并且，第一計算設備中部署有推理客戶端，第二計算設備中部署有推理服務端，在進行推理時，第一計算設備和第二計算設備通過推理客戶端和推理服務端進行交互。推理客戶端可以先將計算模型的模型信息發送給推理服務端，推理服務端使用推理加速資源載入相應的計算模型；接著，推理客戶端向推理服務端發送待推理數據，推理服務端在接收到待推理數據后，即可通過載入的計算模型進行推理處理。由此，實現了推理所使用的計算資源的解耦，通過計算模型進行的推理處理和推理處理之外的數據處理可以通過不同的計算設備實現，其中一臺配置有推理加速資源如GPU即可，無需一臺電子設備上同時具有CPU和GPU，有效解決了因現有異構計算機器的CPU/GPU的規格固定，而使涉及推理的應用的部署受限，導致無法滿足廣泛的推理場景需求的問題。此外，對于用戶來說，其在使用涉及推理的應用時，推理計算可以通過推理客戶端和推理服務端無縫轉接到遠程具有推理加速資源的設備上進行，且推理客戶端和推理服務端之間的交互對于用戶是無感知的，因此，可以保證涉及推理的應用的業務邏輯和用戶進行推理業務的使用習慣不變，低成本地實現了推理且提升了用戶使用體驗。附圖說明為了更清楚地說明本專利技術實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術實施例中記載的一些實施例，對于本領域普通技術人員來講，還可以根據這些附圖獲得其他的附圖。圖1為現有技術中的一種具有推理計算資源的電子設備的結構示意圖；圖2a為根據本專利技術實施例一的一種推理系統的結構框圖；圖2b為根據本專利技術實施例的一種推理系統實例的結構示意圖；圖3a為根據本專利技術實施例二的一種推理系統的結構框圖；圖3b為根據本專利技術實施例的一種推理系統實例的結構示意圖；圖3c為使用圖3b所示推理系統進行推理的過程示意圖；圖3d為使用圖3b所示推理系統進行推理的交互示意圖；圖4為根據本專利技術實施例三的一種推理方法的流程圖；圖5為根據本專利技術實施例四的一種推理方法的流程圖；圖6為根據本專利技術實施例五的一種推理方法的流程圖；圖7為根據本專利技術實施例六的一種推理方法的流程圖；圖8為根據本專利技術實施例七的一種電子設備的結構示意圖；圖9為根據本專利技術實施例八的一種電子設備的結構示意圖。具體實施方式為了使本領域的人員更好地理解本專利技術實施例中的技術方案，下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本專利技術實施例一部分實施本文檔來自技高網...

【技術保護點】
1.一種推理系統，其特征在于，包括相互連接的第一計算設備和第二計算設備，其中，所述第一計算設備中設置有推理客戶端，所述第二計算設備中設置有推理加速資源以及推理服務端；/n其中：/n所述推理客戶端用于獲取進行推理的計算模型的模型信息和待推理數據，并分別將所述模型信息和所述待推理數據發送至所述第二計算設備中的推理服務端；/n所述推理服務端用于通過推理加速資源載入并調用所述模型信息指示的計算模型，通過所述計算模型對所述待推理數據進行推理處理并向所述推理客戶端反饋所述推理處理的結果。/n

【技術特征摘要】
1.一種推理系統，其特征在于，包括相互連接的第一計算設備和第二計算設備，其中，所述第一計算設備中設置有推理客戶端，所述第二計算設備中設置有推理加速資源以及推理服務端；
其中：
所述推理客戶端用于獲取進行推理的計算模型的模型信息和待推理數據，并分別將所述模型信息和所述待推理數據發送至所述第二計算設備中的推理服務端；
所述推理服務端用于通過推理加速資源載入并調用所述模型信息指示的計算模型，通過所述計算模型對所述待推理數據進行推理處理并向所述推理客戶端反饋所述推理處理的結果。


2.根據權利要求1所述的推理系統，其特征在于，所述推理客戶端還用于在確定所述第二計算設備中不存在所述計算模型時，將所述計算模型發送至所述推理服務端。


3.根據權利要求2所述的推理系統，其特征在于，所述計算模型的模型信息為所述計算模型的標識信息或校驗信息；
所述推理服務端還用于通過所述標識信息或所述校驗信息，確定所述第二計算設備中是否存在所述計算模型，并將確定結果返回給所述推理客戶端。


4.根據權利要求1所述的推理系統，其特征在于，
所述推理客戶端還用于獲取請求所述計算模型對所述待推理數據進行推理處理的推理請求，并對所述推理請求進行語義分析，根據語義分析結果確定待調用的所述計算模型中的處理函數，將所述處理函數的信息發送給所述推理服務端；
所述推理服務端在所述通過所述計算模型對所述待推理數據進行推理處理時，通過調用載入的所述計算模型中所述處理函數的信息指示的處理函數，對所述待推理數據進行推理處理。


5.根據權利要求4所述的推理系統，其特征在于，所述處理函數的信息為所述處理函數的API接口信息。


6.根據權利要求1所述的推理系統，其特征在于，所述第二計算設備中設置有一種或多種類型的推理加速資源；
當所述推理加速資源包括多種類型時，不同類型的推理加速資源具有不同的使用優先級；
所述推理服務端根據預設的負載均衡規則和多種類型的所述推理加速資源的優先級，使用推理加速資源。


7.根據權利要求1-6任一項所述的推理系統，其特征在于，所述第一計算設備和所述第二計算設備通過彈性網絡相互連接。


8.根據權利要求1-6任一項所述的推理系統，其特征在于，所述推理客戶端為嵌入所述第一計算設備中的深度學習框架內部的組件，或者，所述推理客戶端為可被所述深度學習框架調用的可調用文件。


9.一種推理方法，其特征在于，所述方法包括：
獲取進行推理的計算模型的模型信息，并將所述模型信息發送至目標計算設備，以指示所述目標計算設備使用所述目標計算設備中設置的推理加速資源載入所述模型信息指示的計算模型；
獲取待推理數據，并將所述待推理數據發送至所述目標計算設備，以指示所述目標計算設備使用推理加速資源調用載入的所述計算模型，通過所述計算模型對所述待推理數據進行推理處理；
接收所述目標計算設備反饋的所述推理處理的結果。


10.根據權利要求9所述的方法，其特征在于，所述方法還包括：
若確定所述目標計算設備中不存在所述計算模型時，則將所述計算模型發送至所述目標計算設備。


11.根據權利要求10所述的方法，其特征在于，所述計算模型的模型信息為所述計算模型的標識信息或校驗信息；
在所述若確定所述目標計...

【專利技術屬性】
技術研發人員：林立翔，李鵬，游亮，龍欣，
申請(專利權)人：阿里巴巴集團控股有限公司，
類型：發明
國別省市：開曼群島;KY