【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及數(shù)據(jù)處理，尤其涉及一種基于gpgpu的多通道矩陣數(shù)據(jù)處理方法、設(shè)備及介質(zhì)。
技術(shù)介紹
1、在大數(shù)據(jù)與人工智能蓬勃發(fā)展的當(dāng)下，矩陣運(yùn)算已成為眾多關(guān)鍵應(yīng)用的核心基石。例如在機(jī)器學(xué)習(xí)領(lǐng)域里的神經(jīng)網(wǎng)絡(luò)訓(xùn)練，需對(duì)海量數(shù)據(jù)進(jìn)行復(fù)雜的矩陣乘法與加法運(yùn)算，以優(yōu)化模型參數(shù)；圖像處理過(guò)程中，圖像的變換、濾波等操作也依賴于高效的矩陣運(yùn)算；物理模擬中，也需要通過(guò)矩陣運(yùn)算模擬物體的運(yùn)動(dòng)、相互作用等物理現(xiàn)象。
2、傳統(tǒng)的?cpu?架構(gòu)，雖然在通用計(jì)算方面表現(xiàn)出色，但面對(duì)大規(guī)模矩陣運(yùn)算時(shí)，由于其串行處理的特性，通常采用單一線程按順序遍歷矩陣元素，逐一對(duì)矩陣元素進(jìn)行操作。例如在進(jìn)行矩陣乘法時(shí)，需先讀取第一個(gè)矩陣的某一行元素，再依次與第二個(gè)矩陣的每一列元素進(jìn)行乘法運(yùn)算并累加結(jié)果，這一過(guò)程中，數(shù)據(jù)讀取與運(yùn)算操作嚴(yán)格按照順序執(zhí)行，效率極為低下，以致數(shù)據(jù)傳輸耗時(shí)較長(zhǎng)，嚴(yán)重影響了整體的運(yùn)算速度。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例提供了一種基于gpgpu的多通道矩陣數(shù)據(jù)處理方法、設(shè)備及介質(zhì)，用于解決如下技術(shù)問(wèn)題：傳統(tǒng)的?cpu?架構(gòu)，在進(jìn)行矩陣數(shù)據(jù)處理時(shí)，效率極為低下，以致數(shù)據(jù)傳輸耗時(shí)較長(zhǎng)，嚴(yán)重影響了整體的運(yùn)算速度。
2、本申請(qǐng)實(shí)施例采用下述技術(shù)方案：
3、本申請(qǐng)實(shí)施例提供一種基于gpgpu的多通道矩陣數(shù)據(jù)處理方法。包括，響應(yīng)矩陣處理任務(wù)請(qǐng)求，以行存模式將待處理矩陣數(shù)據(jù)緩存至全局內(nèi)存；基于gpgpu分配的計(jì)算資源，確定出活躍線程束與數(shù)據(jù)處理通道，并將活躍線程束與數(shù)據(jù)處理通道進(jìn)行匹配
4、本申請(qǐng)實(shí)施例通過(guò)以行存模式將待處理矩陣數(shù)據(jù)緩存至全局內(nèi)存，提升數(shù)據(jù)的連續(xù)性和局部性，由于內(nèi)存中相鄰地址存儲(chǔ)的是矩陣同一行的元素，能減少內(nèi)存訪問(wèn)的隨機(jī)尋道時(shí)間，提高數(shù)據(jù)讀取效率。通過(guò)匹配后的所述數(shù)據(jù)處理通道，將全局內(nèi)存中相應(yīng)行的矩陣數(shù)據(jù)緩存至各數(shù)據(jù)處理通道分別對(duì)應(yīng)的矩陣緩存器中，實(shí)現(xiàn)數(shù)據(jù)的本地化存儲(chǔ)，減少計(jì)算單元對(duì)全局內(nèi)存的訪問(wèn)次數(shù)，降低了數(shù)據(jù)傳輸延遲，提高了數(shù)據(jù)的訪問(wèn)速度。同時(shí)，不同數(shù)據(jù)處理通道對(duì)應(yīng)各自的緩存器，避免了數(shù)據(jù)沖突，提升了數(shù)據(jù)處理的并行性。通過(guò)實(shí)時(shí)獲取矩陣計(jì)算單元狀態(tài)，能夠根據(jù)其負(fù)載情況和處理能力，將數(shù)據(jù)分配給空閑或負(fù)載較低的計(jì)算單元，避免計(jì)算單元的閑置或過(guò)載，提高了計(jì)算單元的利用率，進(jìn)一步優(yōu)化了整個(gè)系統(tǒng)的并行處理能力。
5、在本申請(qǐng)的一種實(shí)現(xiàn)方式中，通過(guò)匹配后的數(shù)據(jù)處理通道，將全局內(nèi)存中相應(yīng)行的矩陣數(shù)據(jù)緩存至各數(shù)據(jù)處理通道分別對(duì)應(yīng)的矩陣緩存器中，具體包括：確定出數(shù)據(jù)處理通道對(duì)應(yīng)的待處理矩陣行，并基于待處理矩陣行將全局內(nèi)存中相應(yīng)行的矩陣數(shù)據(jù)加載至共享內(nèi)存中；執(zhí)行l(wèi)oad指令，將共享內(nèi)存中的矩陣數(shù)據(jù)緩存到寄存器文件對(duì)應(yīng)的邏輯塊中；其中，寄存器文件設(shè)置為多邏輯塊并行存儲(chǔ)機(jī)制；通過(guò)數(shù)據(jù)處理通道對(duì)應(yīng)的操作數(shù)收集單元，將邏輯塊中的矩陣數(shù)據(jù)緩存到數(shù)據(jù)處理通道對(duì)應(yīng)的矩陣緩存器中。
6、在本申請(qǐng)的一種實(shí)現(xiàn)方式中，述將邏輯塊中的矩陣數(shù)據(jù)緩存到數(shù)據(jù)處理通道對(duì)應(yīng)的矩陣緩存器中之前，方法還包括：通過(guò)匹配后的數(shù)據(jù)處理通道，在全局內(nèi)存對(duì)應(yīng)的指令存儲(chǔ)區(qū)域內(nèi)讀取矩陣運(yùn)算指令塊；基于讀取的矩陣運(yùn)算指令塊，在寄存器文件對(duì)應(yīng)的不同邏輯塊中同時(shí)讀取矩陣數(shù)據(jù)。
7、在本申請(qǐng)的一種實(shí)現(xiàn)方式中，基于各矩陣計(jì)算單元狀態(tài)，將矩陣緩存器中的矩陣數(shù)據(jù)分配至相應(yīng)的計(jì)算單元進(jìn)行相應(yīng)行的矩陣數(shù)據(jù)處理，具體包括：確定出處于空閑狀態(tài)的矩陣計(jì)算單元；將矩陣緩存器中的矩陣數(shù)據(jù)分配至處于空閑狀態(tài)的矩陣計(jì)算單元；通過(guò)矩陣計(jì)算單元，將接收到的矩陣數(shù)據(jù)轉(zhuǎn)換為矩陣塊；對(duì)各矩陣塊分別進(jìn)行矩陣數(shù)據(jù)處理，得到結(jié)果矩陣塊，并將各結(jié)果矩陣塊轉(zhuǎn)換為相應(yīng)列寬的行數(shù)據(jù)。
8、在本申請(qǐng)的一種實(shí)現(xiàn)方式中，對(duì)各矩陣塊分別進(jìn)行矩陣數(shù)據(jù)處理，得到結(jié)果矩陣塊，具體包括：將矩陣塊分配至矩陣計(jì)算單元對(duì)應(yīng)的矩陣計(jì)算子單元；其中，矩陣計(jì)算單元由多個(gè)矩陣計(jì)算子單元與多個(gè)偏置加法單元組成；矩陣計(jì)算子單元由多個(gè)乘法單元與多個(gè)加法單元組成；通過(guò)乘法單元對(duì)矩陣塊進(jìn)行相乘處理后，將處理結(jié)果發(fā)送至加法單元，以進(jìn)行相加處理；將相加處理后的結(jié)果發(fā)送至偏置加法單元進(jìn)行處理，得到結(jié)果矩陣塊。
9、在本申請(qǐng)的一種實(shí)現(xiàn)方式中，通過(guò)匹配后的數(shù)據(jù)處理通道，將各計(jì)算單元的矩陣數(shù)據(jù)處理結(jié)果存儲(chǔ)至全局內(nèi)存，直至矩陣運(yùn)算結(jié)束，具體包括：將計(jì)算單元的矩陣數(shù)據(jù)處理結(jié)果，寫回至寄存器文件的邏輯塊內(nèi)；通過(guò)匹配后的數(shù)據(jù)處理通道對(duì)應(yīng)的活躍線程執(zhí)行store指令，將邏輯塊內(nèi)的矩陣數(shù)據(jù)處理結(jié)果存儲(chǔ)至全局內(nèi)存；在確定待處理矩陣數(shù)據(jù)對(duì)應(yīng)的運(yùn)算結(jié)果全部存儲(chǔ)至全局內(nèi)存的情況下，gpgpu產(chǎn)生done信號(hào)；在主機(jī)端檢測(cè)到done信號(hào)后，讀取全局內(nèi)存中的運(yùn)算結(jié)果緩存至主機(jī)內(nèi)存。
10、在本申請(qǐng)的一種實(shí)現(xiàn)方式中，確定出活躍線程束，具體包括：基于矩陣處理任務(wù)請(qǐng)求，確定出任務(wù)優(yōu)先級(jí)；基于各線程束在單位時(shí)間內(nèi)完成的矩陣運(yùn)算量、線程束等待資源的時(shí)間以及各線程束正在處理的數(shù)據(jù)量，確定出線程負(fù)載；在空閑線程束池中篩選出線程負(fù)載不大于預(yù)設(shè)負(fù)載均衡閾值的線程束，作為參考線程束子集；基于矩陣運(yùn)算任務(wù)所需的數(shù)據(jù)塊位置和訪問(wèn)模式，確定數(shù)據(jù)局部性特征；基于預(yù)置數(shù)據(jù)局部性索引表，對(duì)參考線程束子集中的每個(gè)線程束進(jìn)行查詢，確定出每個(gè)線程束當(dāng)前緩存的數(shù)據(jù)塊位置和范圍；基于數(shù)據(jù)塊位置和范圍，確定出每個(gè)線程束分別與數(shù)據(jù)局部性特征之間的匹配度，以基于匹配度在參考線程束子集中篩選出線程束列表；基于任務(wù)優(yōu)先級(jí)與線程束列表，確定出活躍線程束。
11、在本申請(qǐng)的一種實(shí)現(xiàn)方式中，確定出活躍線程束與數(shù)據(jù)處理通道之后，方法還包括：在檢測(cè)到活躍線程束出現(xiàn)阻塞的情況下，將活躍線程束執(zhí)行的矩陣處理任務(wù)標(biāo)記為待重新分配任務(wù)；將不同線程束分別對(duì)應(yīng)的任務(wù)作為節(jié)點(diǎn)，構(gòu)建任務(wù)關(guān)聯(lián)圖；對(duì)任務(wù)關(guān)聯(lián)圖進(jìn)行節(jié)點(diǎn)特征提取與邊特征提取；將節(jié)點(diǎn)特征與邊特征輸入通過(guò)預(yù)置圖神經(jīng)網(wǎng)絡(luò)，以輸出不同任務(wù)之間的關(guān)聯(lián)關(guān)系；基于關(guān)聯(lián)關(guān)系，以及不同任務(wù)分別對(duì)應(yīng)的優(yōu)先級(jí)，對(duì)待重新分配任務(wù)重新進(jìn)行優(yōu)先級(jí)排序；若重新排序后的優(yōu)先級(jí)為緊急任務(wù)，則停止一個(gè)優(yōu)先級(jí)最低的任務(wù)，將釋放的線程資源重新分配給待重新分配任務(wù)；?若重新排序后的優(yōu)先級(jí)不為緊急任務(wù)，則對(duì)待重新分配任務(wù)進(jìn)行計(jì)算資源預(yù)測(cè)，重新對(duì)任務(wù)選取線程束。
12、本申請(qǐng)實(shí)施例提供一種基于gpgpu的多通道矩陣數(shù)據(jù)處理設(shè)備，包括：至少一個(gè)處理器；以及，與至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)處理器執(zhí)行的指令，指令被至少一個(gè)處理器執(zhí)行，以使至少一個(gè)處理器能夠：響應(yīng)矩陣處理任務(wù)請(qǐng)求，以行存模式將待處理矩陣數(shù)據(jù)緩存至全局內(nèi)存；基于gpgpu分配的計(jì)算資源，確定出活躍線程束與數(shù)據(jù)處理通道，并將活躍線程束與本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.基于GPGPU的多通道矩陣數(shù)據(jù)處理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的基于GPGPU的多通道矩陣數(shù)據(jù)處理方法，其特征在于，所述通過(guò)匹配后的所述數(shù)據(jù)處理通道，將所述全局內(nèi)存中相應(yīng)行的矩陣數(shù)據(jù)緩存至各所述數(shù)據(jù)處理通道分別對(duì)應(yīng)的矩陣緩存器中，具體包括：
3.根據(jù)權(quán)利要求2所述的基于GPGPU的多通道矩陣數(shù)據(jù)處理方法，其特征在于，所述將所述邏輯塊中的所述矩陣數(shù)據(jù)緩存到所述數(shù)據(jù)處理通道對(duì)應(yīng)的矩陣緩存器中之前，所述方法還包括：
4.根據(jù)權(quán)利要求1所述的基于GPGPU的多通道矩陣數(shù)據(jù)處理方法，其特征在于，所述基于各所述矩陣計(jì)算單元狀態(tài)，將所述矩陣緩存器中的矩陣數(shù)據(jù)分配至相應(yīng)的計(jì)算單元進(jìn)行相應(yīng)行的矩陣數(shù)據(jù)處理，具體包括：
5.根據(jù)權(quán)利要求4所述的基于GPGPU的多通道矩陣數(shù)據(jù)處理方法，其特征在于，所述對(duì)各所述矩陣塊分別進(jìn)行矩陣數(shù)據(jù)處理，得到結(jié)果矩陣塊，具體包括：
6.根據(jù)權(quán)利要求1所述的基于GPGPU的多通道矩陣數(shù)據(jù)處理方法，其特征在于，所述通過(guò)匹配后的所述數(shù)據(jù)處理通道，將各計(jì)算單元的矩陣數(shù)據(jù)處理結(jié)果存儲(chǔ)至所述
7.根據(jù)權(quán)利要求1所述的基于GPGPU的多通道矩陣數(shù)據(jù)處理方法，其特征在于，所述確定出活躍線程束，具體包括：
8.根據(jù)權(quán)利要求7所述的基于GPGPU的多通道矩陣數(shù)據(jù)處理方法，其特征在于，所述確定出活躍線程束與數(shù)據(jù)處理通道之后，所述方法還包括：
9.基于GPGPU的多通道矩陣數(shù)據(jù)處理設(shè)備，其特征在于，該設(shè)備包括用于存儲(chǔ)計(jì)算機(jī)程序指令的存儲(chǔ)器和用于執(zhí)行程序指令的處理器，其中，當(dāng)該計(jì)算機(jī)程序指令被該處理器執(zhí)行時(shí)，觸發(fā)該設(shè)備執(zhí)行權(quán)利要求1-8中的任一項(xiàng)所述的方法。
10.一種非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，其特征在于，所述計(jì)算機(jī)可執(zhí)行指令能夠執(zhí)行權(quán)利要求1-8任一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.基于gpgpu的多通道矩陣數(shù)據(jù)處理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的基于gpgpu的多通道矩陣數(shù)據(jù)處理方法，其特征在于，所述通過(guò)匹配后的所述數(shù)據(jù)處理通道，將所述全局內(nèi)存中相應(yīng)行的矩陣數(shù)據(jù)緩存至各所述數(shù)據(jù)處理通道分別對(duì)應(yīng)的矩陣緩存器中，具體包括：
3.根據(jù)權(quán)利要求2所述的基于gpgpu的多通道矩陣數(shù)據(jù)處理方法，其特征在于，所述將所述邏輯塊中的所述矩陣數(shù)據(jù)緩存到所述數(shù)據(jù)處理通道對(duì)應(yīng)的矩陣緩存器中之前，所述方法還包括：
4.根據(jù)權(quán)利要求1所述的基于gpgpu的多通道矩陣數(shù)據(jù)處理方法，其特征在于，所述基于各所述矩陣計(jì)算單元狀態(tài)，將所述矩陣緩存器中的矩陣數(shù)據(jù)分配至相應(yīng)的計(jì)算單元進(jìn)行相應(yīng)行的矩陣數(shù)據(jù)處理，具體包括：
5.根據(jù)權(quán)利要求4所述的基于gpgpu的多通道矩陣數(shù)據(jù)處理方法，其特征在于，所述對(duì)各所述矩陣塊分別進(jìn)行矩陣數(shù)據(jù)處理，得到結(jié)果矩陣塊，具體包括：
...【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李樂(lè)樂(lè)，王帥，趙鑫鑫，姜?jiǎng)P，
申請(qǐng)(專利權(quán))人：山東浪潮科學(xué)研究院有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。