【技術實現步驟摘要】
【國外來華專利技術】
技術介紹
1、可使用具有多個高帶寬存儲器(“hbm”)管芯的計算封裝來執行高性能計算。然而，這些封裝已經被配置為通過使用高功率計算管芯來操作涉及高算術強度的應用。然而，當前封裝的高算術強度和高功率設計使得它們并不適合用作大型語言模型的機器學習加速器。
技術實現思路
1、需要的是一種高帶寬存儲器封裝設計，所述高帶寬存儲器封裝設計被配置為作為用于具有較低算術強度的應用的機器學習加速器高效地操作，諸如以用于服務大型語言模型(llm)或受存儲器帶寬限制的其他模型。本公開的各方面涉及一種機器學習加速器，所述機器學習加速器具有利用多個小芯片實現以增加帶寬的3d存儲器管芯。所述機器學習加速器進一步針對低算術強度被設計來降低封裝的操作所需的功率。此外，本公開的各方面允許所述機器學習加速器在以下封裝上操作，所述封裝在熱約束方面以及在可用于計算和存儲器組件的空間量方面受到限制。
2、根據本公開的各方面，一種計算封裝可包括：封裝襯底；以及一個或多個計算集群，所述一個或多個計算集群位于所述封裝襯底上；其中所述一個或多個計算集群中的每一個包括與輸入-輸出管芯通信的多個計算-存儲器堆棧；其中每個計算-存儲器堆棧可包括與低功率計算管芯一起堆疊的多個存儲器管芯；并且其中所述輸入-輸出管芯可被配置為通過一個或多個外圍組件互連來傳輸所述多個計算-存儲器堆棧的數據。
3、在本公開的其他方面，所述多個計算-存儲器堆棧的每個低功率計算管芯可被配置為在約40w或更低的供電電源下操作。
4
5、在本公開的又一些其他方面，所述計算封裝還可包括：多個計算集群，所述多個計算集群位于所述封裝襯底上，并且其中每個計算集群的所述輸入-輸出管芯連接到位于所述封裝襯底上的其他計算集群的一個或多個輸入-輸出管芯。
6、在本公開的再一些其他方面，所述封裝襯底可包括四個計算集群，并且其中每個計算集群包含四個或更多個計算-存儲器堆棧。此外，每個計算集群可包含至少一個非活動備用計算-存儲器堆棧。
7、在本公開的其他方面，所述封裝襯底可包括兩個計算集群，并且其中每個計算集群包含八個或更多個計算-存儲器堆棧。此外，每個計算集群可包含至少一個非活動備用計算-存儲器堆棧。
8、在本公開的又一些其他方面，所述多個計算-存儲器堆棧是堆疊的3d-dram小芯片，并且所述計算封裝被配置為作為大型模型處理單元來操作。
9、在本公開的再一些其他方面，所述輸入-輸出管芯可被進一步配置為與外部dram或外部遠程直接存儲器訪問(rdma)中的至少一者通信，以與其他計算封裝互連。
10、在本公開的其他方面，一種計算方法可包括：在位于封裝襯底上的一個或多個計算集群處接收處理命令；使用與輸入-輸出管芯通信的多個計算-存儲器堆棧基于所述處理命令來執行計算操作，其中每個計算-存儲器堆棧包括與低功率計算管芯一起堆疊的多個存儲器管芯；以及通過一個或多個外圍組件互連傳輸來自所述輸入-輸出管芯的數據。
11、在本公開的再一方面，所述多個計算-存儲器堆棧的每個低功率計算管芯可被配置為在約40w或更低的電源下操作。
12、在本公開的又一些其他方面，對于所述多個計算-存儲器堆棧中的特定計算-存儲器堆棧，所述低功率計算管芯在所述封裝襯底上的占有面積可比所述多個存儲器管芯的占有面積大不到30％。
13、在本公開的再一些其他方面，執行所述計算操作還可包括：使用位于所述封裝襯底上的多個計算集群來執行所述計算操作，并且其中每個計算集群的所述輸入-輸出管芯連接到位于所述封裝襯底上的其他計算集群的一個或多個輸入-輸出管芯。
14、在本公開的其他方面，所述輸入-輸出管芯可被進一步配置為與外部dram或外部遠程直接存儲器訪問(rdma)中的至少一者通信，以與其他計算封裝互連。
15、根據本公開的再一些其他方面，一種大型模型處理單元可包括通過外圍組件互連連接的一個或多個計算封裝，并且每個計算封裝可包括：封裝襯底；以及一個或多個計算集群，所述一個或多個計算集群位于所述封裝襯底上；其中所述一個或多個計算集群中的每一個包括與輸入-輸出管芯通信的多個計算-存儲器堆棧；其中每個計算-存儲器堆棧包括與低功率計算管芯一起堆疊的多個存儲器管芯；并且其中所述輸入-輸出管芯被配置為通過所述一個或多個外圍組件互連來傳輸所述多個計算-存儲器堆棧的數據。
本文檔來自技高網...【技術保護點】
1.一種計算封裝，其特征在于，包括：
2.如權利要求1所述的計算封裝，其特征在于，所述多個計算-存儲器堆棧的每個低功率計算管芯被配置為在約40W或更低的電源下操作。
3.如權利要求1所述的計算封裝，其特征在于，對于所述多個計算-存儲器堆棧中的特定計算-存儲器堆棧，所述低功率計算管芯在所述封裝襯底上的占有面積比所述多個存儲器管芯的占有面積大不到30％。
4.如權利要求1所述的計算封裝，其特征在于，還包括：位于所述封裝襯底上的多個計算集群，并且其中每個計算集群的所述輸入-輸出管芯連接到位于所述封裝襯底上的其他計算集群的一個或多個輸入-輸出管芯。
5.如權利要求4所述的計算封裝，其特征在于，所述封裝襯底包括四個計算集群，并且其中每個計算集群包含四個或更多個計算-存儲器堆棧。
6.如權利要求4所述的計算封裝，其特征在于，所述封裝襯底包括兩個計算集群，并且其中每個計算集群包含八個或更多個計算-存儲器堆棧。
7.如權利要求1所述的計算封裝，其特征在于，每個計算集群包含至少一個非活動備用計算-存儲器堆棧。
8.
9.如權利要求1所述的計算封裝，其特征在于，所述計算封裝被配置為作為大型模型處理單元來操作。
10.如權利要求1所述的計算封裝，其特征在于，所述輸入-輸出管芯被進一步配置為與外部DRAM或外部遠程直接存儲器訪問(RDMA)中的至少一者通信，以與其他計算封裝互連。
11.一種計算的方法，其特征在于，包括：
12.如權利要求11所述的方法，其特征在于，所述多個計算-存儲器堆棧的每個低功率計算管芯被配置為在約40W或更低的電源下操作。
13.如權利要求11所述的方法，其特征在于，對于所述多個計算-存儲器堆棧中的特定計算-存儲器堆棧，所述低功率計算管芯在所述封裝襯底上的占有面積比所述多個存儲器管芯的占有面積大不到30％。
14.如權利要求11所述的方法，其特征在于，執行所述計算操作還包括：使用位于所述封裝襯底上的多個計算集群來執行所述計算操作，并且其中每個計算集群的所述輸入-輸出管芯連接到位于所述封裝襯底上的其他計算集群的一個或多個輸入-輸出管芯。
15.如權利要求14所述的方法，其特征在于，所述封裝襯底包括四個計算集群，并且其中每個計算集群包含四個或更多個活動計算-存儲器堆棧。
16.如權利要求14所述的方法，其特征在于，所述封裝襯底包括兩個計算集群，并且其中每個計算集群包含八個或更多個活動計算-存儲器堆棧。
17.如權利要求11所述的方法，其特征在于，每個計算集群包含至少一個非活動備用計算-存儲器堆棧。
18.如權利要求11所述的方法，其特征在于，所述多個計算-存儲器堆棧是堆疊的3D-DRAM小芯片。
19.如權利要求11所述的方法，其特征在于，所述輸入-輸出管芯被進一步配置為與外部DRAM或外部遠程直接存儲器訪問(RDMA)中的至少一者通信，以與其他計算封裝互連。
20.一種大型模型處理單元，其特征在于，包括：一個或多個計算封裝，所述一個或多個計算封裝通過外圍組件互連而連接，每個計算封裝包括：
...【技術特征摘要】
【國外來華專利技術】
1.一種計算封裝，其特征在于，包括：
2.如權利要求1所述的計算封裝，其特征在于，所述多個計算-存儲器堆棧的每個低功率計算管芯被配置為在約40w或更低的電源下操作。
3.如權利要求1所述的計算封裝，其特征在于，對于所述多個計算-存儲器堆棧中的特定計算-存儲器堆棧，所述低功率計算管芯在所述封裝襯底上的占有面積比所述多個存儲器管芯的占有面積大不到30％。
4.如權利要求1所述的計算封裝，其特征在于，還包括：位于所述封裝襯底上的多個計算集群，并且其中每個計算集群的所述輸入-輸出管芯連接到位于所述封裝襯底上的其他計算集群的一個或多個輸入-輸出管芯。
5.如權利要求4所述的計算封裝，其特征在于，所述封裝襯底包括四個計算集群，并且其中每個計算集群包含四個或更多個計算-存儲器堆棧。
6.如權利要求4所述的計算封裝，其特征在于，所述封裝襯底包括兩個計算集群，并且其中每個計算集群包含八個或更多個計算-存儲器堆棧。
7.如權利要求1所述的計算封裝，其特征在于，每個計算集群包含至少一個非活動備用計算-存儲器堆棧。
8.如權利要求1所述的計算封裝，其特征在于，所述多個計算-存儲器堆棧是堆疊的3d-dram小芯片。
9.如權利要求1所述的計算封裝，其特征在于，所述計算封裝被配置為作為大型模型處理單元來操作。
10.如權利要求1所述的計算封裝，其特征在于，所述輸入-輸出管芯被進一步配置為與外部dram或外部遠程直接存儲器訪問(rdma)中的至少一者通信，以與其他計算封裝互連。
11.一種計算的方法，其特征在于，包...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。