【技術實現步驟摘要】
本專利技術公開一種面向gpgpu集群的小包數據傳輸系統及方法，涉及數據傳輸。
技術介紹
1、將大量的gpgpu整合在一起形成gpgpu集群，構建出具有并行處理能力的計算環境，擴展了計算資源規模，提高了數據并行計算能力、保障高效數據吞吐量。
2、目前，pci?express(pcie)技術是實現這一目標的主要技術手段。pcie，作為一種廣泛采用的串行i/o連接標準，為計算機硬件中的cpu、gpu等外圍設備與主機系統之間的高速數據傳輸提供了可靠的接口。
3、pcie的數據傳輸采用基于數據包的封裝和傳輸機制，其體系結構由多個層次構成，包括應用層、事務層、數據鏈路層和物理層。應用層根據用戶需求設計，而事務層、數據鏈路層和物理層則遵循pcie標準規范。
4、在pcie傳輸過程中，為了確保數據傳輸的準確性和可靠性，引入了豐富的控制信息，包括目標地址信息、傳輸屬性、校驗碼等。這些控制信號雖然對于維護數據完整性至關重要，但在某些情況下，可能會對數據傳輸效率產生不利影響。具體而言，當傳輸的數據量較大時，控制信號所占的比例相對較小，對傳輸效率的影響有限；然而，在小數據量傳輸場景中，控制信號的開銷可能變得較高，甚至出現控制信號的符號量超過實際傳輸數據量的情況。
5、因此gpgpu集群執行復雜的并行計算任務，涉及到大量的小數據量傳輸時，容易導致鏈路的有效帶寬利用率降低，還可能阻塞網絡資源，影響其他傳輸任務的進行。
技術實現思路
1、本專利技術提供一種面向gp
2、本專利技術提出的具體方案是：
3、本專利技術提供一種面向gpgpu集群的小包數據傳輸系統，針對gpgpu集群的小包數據傳輸，包括加載存儲模塊、數據壓縮規約模塊、pcie傳輸適配優化模塊、pcie接收解碼拆分模塊，
4、加載存儲模塊接收源gpgpu核心發送的指令，解析指令信息，獲得訪存地址信息和訪存數據信息，判斷目的gpgpu是否為本地gpgpu，是則通過交叉開關crossbar將訪存數據信息發送至本地的l2緩存，否則從指令中提取目的gpgpu的標識信息，并將標識信息與訪存地址信息和訪存數據信息結合成傳輸指令，一起通過crossbar發送至數據壓縮規約模塊，
5、通過數據壓縮規約模塊為每個gpgpu分配及維護內存空間，將傳輸指令中目的gpgpu的標識信息、訪存地址信息和訪存數據信息，定向發送至與目的gpgpu對應的內存空間，
6、對每個內存空間中訪存地址信息按照數值遞增的順序執行排序，
7、根據基于網絡擁塞程度的數據發射機制或基于內存空間容量的數據發射機制將目的gpgpu內存空間的所有訪存數據整合打包，形成小包數據集合，發送至pcie傳輸適配優化模塊，
8、pcie傳輸適配優化模塊將小包數據集合中最小的訪存地址作為基地址，并計算每個訪存地址與基地址的地址偏移量，基于基地址和地址偏移量的編碼格式對小包數據集合進行重組和打包，形成數據傳輸條目，根據數據傳輸條目構建符合pcie的事務層數據包tlp，將事務層數據包tlp進行數據鏈路層封裝和物理層封裝，將封裝后數據包發送至對應的gpgpu節點，
9、通過所述gpgpu節點的pcie接收解碼拆分模塊根據接收到的數據包進行解碼，還原為事務層數據包tlp，繼續解碼獲取數據傳輸條目信息，根據數據傳輸條目信息執行具體的訪存操作。
10、進一步，所述的一種面向gpgpu集群的小包數據傳輸系統的數據壓縮規約模塊監測到多個傳輸指令指向同一目的gpgpu的相同訪存地址時，根據時間戳選擇最新的寫入數據覆蓋目的gpgpu的內存空間，針對讀取操作則將多個傳輸指令合并為單一傳輸指令，以確保數據的一致性。
11、進一步，所述的一種面向gpgpu集群的小包數據傳輸系統的基于內存空間容量的數據發射機制，包括：
12、當某個目的gpgpu內存空間達到容量閾值時，數據壓縮規約模塊自動觸發基于內存空間容量的數據發射機制，將目的gpgpu內存空間的所有訪存數據整合打包，形成小包數據集合。
13、進一步，所述的一種面向gpgpu集群的小包數據傳輸系統的基于網絡擁塞程度的數據發射機制，包括：
14、數據壓縮規約模塊根據gpgpu集群中的網絡擁塞程度信息決定是否發射內存空間中的小包數據集合，如果gpgpu集群中的物理鏈路存在空置情況且所有目的gpgpu內存空間均沒有達到容量閾值時，觸發基于網絡擁塞程度的數據發射機制，識別并選擇當前網絡狀態最佳的空閑鏈路，確定對應的目的gpgpu，將目的gpgpu內存空間的所有訪存數據整合打包，形成小包數據集合。
15、進一步，所述的一種面向gpgpu集群的小包數據傳輸系統的pcie傳輸適配優化模塊從基地址開始保留地址偏移量，若沒有連續訪存地址，則突發數據burst為1；若存在連續訪存地址，則保留連續訪存地址中第一位訪存地址與基地址的地址偏移量，將連續訪存地址的個數作為突發數據burst，數據傳輸條目中包括地址偏移量、突發數據、訪存數據長度和所有訪存地址對應的訪存數據。
16、進一步，所述的一種面向gpgpu集群的小包數據傳輸系統的pcie傳輸適配優化模塊根據數據傳輸條目構建事務層數據包tlp時，對事務層數據包tlp的header字段、data字段和ecrc字段進行填充，其中對header字段的地址參數addr填充數據集合的基地址數據，對header字段的長度參數length填充訪存數據的累積長度；將事務層數據包tlp中所有數據傳輸條目填充至data字段中；默認填充ecrc字段信息，用于校驗事務層數據包tlp。
17、本專利技術還提供一種面向gpgpu集群的小包數據傳輸方法，利用所述的一種面向gpgpu集群的小包數據傳輸系統面向gpgpu集群進行小包數據傳輸。
18、本專利技術還提供計算機可讀介質，所述計算機可讀介質上存儲有計算機指令，所述計算機指令在被處理器執行時，使所述處理器執行所述的一種面向gpgpu集群的小包數據傳輸方法。
19、本專利技術的有益之處是：
20、本專利技術針對gpgpu集群在小數據量傳輸過程中存在的效率問題，關注于優化小包數據的傳輸效率，解決了現有技術中小數據量傳輸效率低下的問題。
21、其中本專利技術的數據壓縮規約模塊為每個目標gpgpu分配并維護了專屬的內存空間，對傳輸數據進行有效的預處理和緩存，優化了數據傳輸流程。同時該模塊設計開發了地址排序協議和數據覆蓋協議，優化了數據存儲模式和數據傳輸局部性，降低了地址信息的冗余。
22、本專利技術基于內存空間容量的數據發射機制，確保了傳輸過程中有效數據負載的一致性；本專利技術另一種基于網絡擁塞程度的數據發射機制，智能決策數據發射的時機和目標，提升了物理鏈路的數據傳輸效率。
23、本發本文檔來自技高網...
【技術保護點】
1.一種面向GPGPU集群的小包數據傳輸系統，其特征是針對GPGPU集群的小包數據傳輸，包括加載存儲模塊、數據壓縮規約模塊、PCIe傳輸適配優化模塊、PCIe接收解碼拆分模塊，
2.根據權利要求1所述的一種面向GPGPU集群的小包數據傳輸系統，其特征是數據壓縮規約模塊監測到多個傳輸指令指向同一目的GPGPU的相同訪存地址時，根據時間戳選擇最新的寫入數據覆蓋目的GPGPU的內存空間，針對讀取操作則將多個傳輸指令合并為單一傳輸指令，以確保數據的一致性。
3.根據權利要求1所述的一種面向GPGPU集群的小包數據傳輸系統，其特征是基于內存空間容量的數據發射機制，包括：
4.根據權利要求1所述的一種面向GPGPU集群的小包數據傳輸系統，其特征是基于網絡擁塞程度的數據發射機制，包括：
5.根據權利要求1所述的一種面向GPGPU集群的小包數據傳輸系統，其特征是PCIe傳輸適配優化模塊從基地址開始保留地址偏移量，若沒有連續訪存地址，則突發數據burst為1；若存在連續訪存地址，則保留連續訪存地址中第一位訪存地址與基地址的地址偏移量，將連續訪存地址的
6.根據權利要求1所述的一種面向GPGPU集群的小包數據傳輸系統，其特征是PCIe傳輸適配優化模塊根據數據傳輸條目構建事務層數據包TLP時，對事務層數據包TLP的Header字段、Data字段和ECRC字段進行填充，其中對Header字段的地址參數Addr填充數據集合的基地址數據，對Header字段的長度參數Length填充訪存數據的累積長度；將事務層數據包TLP中所有數據傳輸條目填充至Data字段中；默認填充ECRC字段信息，用于校驗事務層數據包TLP。
7.一種面向GPGPU集群的小包數據傳輸方法，其特征是利用權利要求1-7任一項所述的一種面向GPGPU集群的小包數據傳輸系統面向GPGPU集群進行小包數據傳輸。
8.計算機可讀介質，其特征是所述計算機可讀介質上存儲有計算機指令，所述計算機指令在被處理器執行時，使所述處理器執行權利要求7所述的一種面向GPGPU集群的小包數據傳輸方法。
...【技術特征摘要】
1.一種面向gpgpu集群的小包數據傳輸系統，其特征是針對gpgpu集群的小包數據傳輸，包括加載存儲模塊、數據壓縮規約模塊、pcie傳輸適配優化模塊、pcie接收解碼拆分模塊，
2.根據權利要求1所述的一種面向gpgpu集群的小包數據傳輸系統，其特征是數據壓縮規約模塊監測到多個傳輸指令指向同一目的gpgpu的相同訪存地址時，根據時間戳選擇最新的寫入數據覆蓋目的gpgpu的內存空間，針對讀取操作則將多個傳輸指令合并為單一傳輸指令，以確保數據的一致性。
3.根據權利要求1所述的一種面向gpgpu集群的小包數據傳輸系統，其特征是基于內存空間容量的數據發射機制，包括：
4.根據權利要求1所述的一種面向gpgpu集群的小包數據傳輸系統，其特征是基于網絡擁塞程度的數據發射機制，包括：
5.根據權利要求1所述的一種面向gpgpu集群的小包數據傳輸系統，其特征是pcie傳輸適配優化模塊從基地址開始保留地址偏移量，若沒有連續訪存地址，則突發數據burst為1；若存在連續訪存地址，則保留連續訪存地址中第一位訪存地址與基地址的地址...
【專利技術屬性】
技術研發人員：周凱，王帥，趙鑫鑫，姜凱，
申請(專利權)人：山東浪潮科學研究院有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。