本申請涉及人工智能計算技術領域，公開了一種AI計算平臺、方法及AI云計算系統。AI計算平臺包括：至少一個計算組件，其中所述計算組件包括：處理器，用于發起計算任務并根據存儲的網絡拓撲信息表將所述計算任務分解為若干個有序的子任務；若干個近內存計算模塊，所述若干個近內存計算模塊與所述處理器之間兩兩相連，并且所述若干個近內存計算模塊相互之間兩兩相連，其中，所述若干個近內存計算模塊各自被配置為實現不同的運算類型，所述若干個近內存計算模塊根據各自實現的運算類型完成所述若干個子任務中的一個或多個。本申請可以降低處理器統一調度負荷，具備良好的通用性和可擴展，可適用單服務器、多服務器及云場景。多服務器及云場景。多服務器及云場景。
【技術實現步驟摘要】
AI計算平臺、方法及AI云計算系統
[0001]本申請涉及人工智能計算
，特別涉及一種AI計算平臺、方法及AI云計算系統。
技術介紹
[0002]現有技術中，當包含多個AI計算模塊的單臺服務器處理復雜任務時，常規的做法如圖1所示，由CPU對NCM(Near Computing Memory，近內存計算存儲器)中的資源進行集中調度，并且NCM間交互的數據交互均經由CPU轉發，這種架構使得CPU容易成為處理能力和接口通信能力的瓶頸。當應用擴展至更為復雜的多服務器或云計算場景時，由于上述瓶頸的存在，處理資源受限，無法靈活進行云部署，而且，可移植性和可擴展性差，進而無法實現高效的計算，不利于高效的應用于復雜的計算場景中。
技術實現思路
[0003]本申請的目的在于提供一種AI計算平臺、方法及AI云計算系統，以充分發揮分段計算的優勢，降低處理器統一調度負荷，且其具備良好的通用性和可擴展性，并同時適用于單服務器、多服務器和云場景。
[0004]本申請公開了一種AI計算平臺，包括：至少一個計算組件，其中所述計算組件包括：
[0005]處理器，用于發起計算任務并根據存儲的網絡拓撲信息表將所述計算任務分解為若干個有序的子任務；以及
[0006]若干個近內存計算模塊，所述若干個近內存計算模塊與所述處理器之間兩兩相連，并且所述若干個近內存計算模塊相互之間兩兩相連，其中，所述若干個近內存計算模塊各自被配置為實現不同的運算類型，所述若干個近內存計算模塊根據各自實現的運算類型完成所述若干個子任務中的一個或多個。
[0007]在一個實施例中，所述網絡拓撲信息表包括：所述處理器所在主機的IP地址、近內存計算模塊索引、近內存計算模塊所支持的運算類型、負載率、相鄰近內存計算模塊的數量以及相鄰近內存計算模塊支持的運算類型。
[0008]在一個實施例中，所述處理器還用于根據分解的所述若干個有序的子任務生成數據包，并將所述數據包依照子任務的處理順序傳送給處理排序為第一位的子任務的近內存計算模塊，所述數據包包括：處理所述數據包所需要的近內存計算模塊數量、處理所述數據包所需要的近內存計算模塊列表、包頭循環冗余校驗、有效載荷長度以及有效載荷。
[0009]在一個實施例中，所述近內存計算模塊還用于在接收到所述數據包時處理對應的子任務以生成處理后的數據包，并根據所述近內存計算模塊列表將處理后的數據包發送給下一個近內存計算模塊或返回給所述處理器。
[0010]在一個實施例中，所述近內存計算模塊列表包括依次處理每個子任務的近內存計算模塊所在主機的IP地址、索引、所支持的運算類型以及負載率。
[0011]在一個實施例中，所述處理器還用于實現與所述若干個近內存計算模塊不同的運算類型，其中，所述處理器和若干個近內存計算模塊根據各自實現的運算類型完成所述若干個子任務中的一個或多個。
[0012]在一個實施例中，各計算組件的處理器之間通過總線連接。
[0013]本申請還公開了一種基于AI計算方法，包括：
[0014]處理器發起計算任務并根據存儲的網絡拓撲信息表將所述計算任務分解為若干個有序的子任務；
[0015]所述處理器根據分解的所述若干個有序的子任務生成數據包并根據子任務的處理順序將所述數據包路由到處理排序為第一位的子任務的近內存計算模塊；以及
[0016]所述近內存計算模塊在接收到所述數據包時處理相應的子任務以生成處理后的數據包，并將處理后的數據包路由到處理下一個子任務的近內存計算模塊直至完成所有子任務，再路由到與處理最后一個子任務的近內存計算模塊相連的處理器。
[0017]在一個實施例中，所述若干個近內存計算模塊與所述處理器之間兩兩相連，并且所述若干個近內存計算模塊相互之間兩兩相連，其中，所述若干個近內存計算模塊各自被配置為實現不同的運算類型
[0018]在一個實施例中，所述網絡拓撲信息表包括：所述處理器所在主機的IP地址、近內存計算模塊索引、近內存計算模塊所支持的運算類型、負載率、相鄰近內存計算模塊的數量以及相鄰近內存計算模塊支持的運算類型。
[0019]在一個實施例中，所述數據包包括：處理所述數據包所需要的近內存計算模塊數量、處理所述數據包所需要的近內存計算模塊列表、包頭循環冗余校驗、有效載荷長度以及有效載荷。
[0020]在一個實施例中，所述近內存計算模塊列表包括依次處理每個子任務的近內存計算模塊所在主機的IP地址、索引、所支持的運算類型以及負載率。
[0021]在一個實施例中，所述處理器用于實現與所述若干個近內存計算模塊不同的運算類型，其中，所述處理器和若干個近內存計算模塊根據各自實現的運算類型完成所述若干個子任務中的一個或多個。
[0022]本申請還公開了一種AI云計算系統，包括：云計算中心，以及前文所述的AI計算平臺，所述云計算中心與所述若干個AI計算平臺相連。
[0023]本申請中，處理器基于網絡拓撲信息表將計算任務分解為若干個有序處理的子任務，并生成基于近內存的分段計算協議(SC4NCM)的數據包，各近內存計算模塊在接收到數據包時，根據自身能夠完成的運算類型處理相應的子任務，其在充分發揮分段計算優勢的同時，降低處理器統一調度負荷，并且具備良好的通用性和可擴展性，因此，本申請可同時適用于單服務器、多服務器和云場景，為AI服務器部署云原生應用提供了高效的云原生計算平臺體系架構。此外，由于SC4NCM協議的數據包能夠靈活地定義各種計算功能，因此也可應用于GPGPU、FPGA等計算模塊，可被擴展到機器訓練等更為復雜的計算應用。
[0024]本申請的說明書中記載了大量的技術特征，分布在各個技術方案中，如果要羅列出本申請所有可能的技術特征的組合(即技術方案)的話，會使得說明書過于冗長。為了避免這個問題，本申請上述
技術實現思路
中公開的各個技術特征、在下文各個實施方式和例子中公開的各技術特征、以及附圖中公開的各個技術特征，都可以自由地互相組合，從而構成各
種新的技術方案(這些技術方案均應該視為在本說明書中已經記載)，除非這種技術特征的組合在技術上是不可行的。例如，在一個例子中公開了特征A+B+C，在另一個例子中公開了特征A+B+D+E，而特征C和D是起到相同作用的等同技術手段，技術上只要擇一使用即可，不可能同時采用，特征E技術上可以與特征C相組合，則，A+B+C+D的方案因技術不可行而應當不被視為已經記載，而A+B+C+E的方案應當視為已經被記載。
附圖說明
[0025]圖1是現有技術的計算服務器的示意圖。
[0026]圖2是根據本申請一個實施例的AI計算平臺的結構示意圖。
[0027]圖3是根據本申請一個實施例的數據包的示意圖。
[0028]圖4是根據本申請一個實施例的云原生AI計算系統的結構示意圖。
[0029]圖5是根據本申請一個實施例的AI計算方法流程示意圖.
[0030]圖6是根據本申請一個實施例的計算任務完成的流程圖。
具體實施方式
...
【技術保護點】
【技術特征摘要】
1.一種AI計算平臺，其特征在于，包括：至少一個計算組件，其中所述計算組件包括：處理器，用于發起計算任務并根據存儲的網絡拓撲信息表將所述計算任務分解為若干個有序的子任務；以及若干個近內存計算模塊，所述若干個近內存計算模塊與所述處理器之間兩兩相連，并且所述若干個近內存計算模塊相互之間兩兩相連，其中，所述若干個近內存計算模塊各自被配置為實現不同的運算類型，所述若干個近內存計算模塊根據各自實現的運算類型完成所述若干個子任務中的一個或多個。2.根據權利要求1所述的AI計算平臺，其特征在于，所述網絡拓撲信息表包括：所述處理器所在主機的IP地址、近內存計算模塊索引、近內存計算模塊所支持的運算類型、負載率、相鄰近內存計算模塊的數量以及相鄰近內存計算模塊支持的運算類型。3.根據權利要求1所述的AI計算平臺，其特征在于，所述處理器還用于根據分解的所述若干個有序的子任務生成數據包，并將所述數據包依照子任務的處理順序傳送給處理排序為第一位的子任務的近內存計算模塊，所述數據包包括：處理所述數據包所需要的近內存計算模塊數量、處理所述數據包所需要的近內存計算模塊列表、包頭循環冗余校驗、有效載荷長度以及有效載荷。4.根據權利要求3所述的AI計算平臺，其特征在于，所述近內存計算模塊還用于在接收到所述數據包時處理對應的子任務以生成處理后的數據包，并根據所述近內存計算模塊列表將處理后的數據包發送給下一個近內存計算模塊或返回給所述處理器。5.根據權利要求3所述的AI計算平臺，其特征在于，所述近內存計算模塊列表包括依次處理每個子任務的近內存計算模塊所在主機的IP地址、索引、所支持的運算類型以及負載率。6.根據權利要求1所述的AI計算平臺，其特征在于，所述處理器還用于實現與所述若干個近內存計算模塊不同的運算類型，其中，所述處理器和若干個近內存計算模塊根據各自實現的運算類型完成所述若干個子任務中的一個或多個。7.根據權利要求1所述的AI計算平臺，其特征在于，各計算組件的處理器之間通過總線連接。8.一...
【專利技術屬性】
技術研發人員：楊靜忠，山崗，
申請(專利權)人：瀾起科技股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。