本發(fā)明專利技術(shù)屬于集成電路技術(shù)領(lǐng)域，具體為一種通道自組織的深度神經(jīng)網(wǎng)絡(luò)加速芯片的運(yùn)算裝置。本發(fā)明專利技術(shù)裝置包括：多個(gè)片上存儲(chǔ)模塊，用于按通道存儲(chǔ)特征值矩陣；一個(gè)多行多列的計(jì)算單元陣列，用于并行執(zhí)行卷積、矩陣乘法等運(yùn)算；一個(gè)中央控制單元，用于控制計(jì)算過程和數(shù)據(jù)流向、和同外界的數(shù)據(jù)交互。計(jì)算單元陣列中的同一列計(jì)算單元并行處理來自同一個(gè)輸入通道的計(jì)算，同一行并行處理來自同一個(gè)輸出通道的計(jì)算。該裝置在計(jì)算過程中將數(shù)據(jù)流按通道與存儲(chǔ)器的對(duì)應(yīng)關(guān)系進(jìn)行組織，避免計(jì)算單元在多個(gè)存儲(chǔ)器間交叉訪問，減少數(shù)據(jù)在存儲(chǔ)器間的搬運(yùn)次數(shù)，從而提高了芯片的能效。
【技術(shù)實(shí)現(xiàn)步驟摘要】
一種通道自組織的深度神經(jīng)網(wǎng)絡(luò)加速芯片的運(yùn)算裝置
本專利技術(shù)屬于集成電路
，具體涉及一種深度神經(jīng)網(wǎng)絡(luò)加速芯片的運(yùn)算裝置。
技術(shù)介紹
當(dāng)今，深度神經(jīng)網(wǎng)絡(luò)算法被廣泛地使用于自動(dòng)駕駛、目標(biāo)識(shí)別與檢測(cè)、機(jī)器翻譯等諸多領(lǐng)域之中。隨著深度學(xué)習(xí)算法應(yīng)用的日益復(fù)雜化，傳統(tǒng)的CPU和GPU在能效上越發(fā)顯得捉襟見肘，一系列的深度神經(jīng)網(wǎng)絡(luò)算法專用加速芯片應(yīng)運(yùn)而生。深度神經(jīng)網(wǎng)絡(luò)算法由很多層組成，每一層的輸入特征值和輸出特征值都是多個(gè)通道組成的矩陣組。輸入特征值經(jīng)過一系列的線性運(yùn)算（比如卷積、矩陣乘法）后，再通過一個(gè)非線性的激活函數(shù)，就獲得了輸出特征值。在神經(jīng)網(wǎng)絡(luò)的內(nèi)部，每一層的輸出特征值都是下一層的輸入特征值。由于每層的計(jì)算中，多個(gè)輸入通道之間都存在很大的并行性，技術(shù)人員們開發(fā)了各種數(shù)據(jù)流優(yōu)化技術(shù)來提高能效。將多個(gè)輸入通道的數(shù)據(jù)存放于多個(gè)片上存儲(chǔ)器中可以最大限度地提高數(shù)據(jù)讀寫的并行性。但是由于多個(gè)輸入通道的特征值往往在得到最終的輸出特征值之前，需要進(jìn)行跨通道的疊加，這一限制導(dǎo)致了多個(gè)片上存儲(chǔ)器之間需要相互交換數(shù)據(jù)，從而影響了最終的能效。綜上所述，如何充分地利用多個(gè)輸入通道與多個(gè)輸出通道的數(shù)據(jù)相關(guān)性來獲得較高的加速芯片能效，是相關(guān)領(lǐng)域技術(shù)人員亟待解決的一個(gè)問題。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)的目的在于，提供一種基于多個(gè)片上存儲(chǔ)器的、數(shù)據(jù)通道自組織的深度神經(jīng)網(wǎng)絡(luò)加速芯片的運(yùn)算裝置。本專利技術(shù)提出的深度神經(jīng)網(wǎng)絡(luò)加速芯片的運(yùn)算裝置，包括：多個(gè)片上存儲(chǔ)模塊，用于存儲(chǔ)參加計(jì)算的特征值；一個(gè)深度神經(jīng)網(wǎng)絡(luò)計(jì)算單元陣列，用于深度神經(jīng)網(wǎng)絡(luò)算法中的卷積、和/或矩陣乘法、和/或池化層算法的運(yùn)算；中央控制單元，用于控制計(jì)算過程和數(shù)據(jù)流向，以及同外界的數(shù)據(jù)交互；所述深度神經(jīng)網(wǎng)絡(luò)計(jì)算單元陣列，是由若干計(jì)算單元排列成的、多行多列的二維空間陣列；在所述中央控制單元的控制下，計(jì)算單元陣列以行或列為單位，從所述多個(gè)片上存儲(chǔ)模塊的全部或部分中并行地讀取數(shù)據(jù)，計(jì)算后將結(jié)果并行地寫入所述多個(gè)片上存儲(chǔ)模塊的全部或部分中，形成輸入通道與輸出通道的自組織。本專利技術(shù)中，深度神經(jīng)網(wǎng)絡(luò)算法中的特征值按照通道序號(hào)依次存儲(chǔ)于不同的所述存儲(chǔ)模塊中。本專利技術(shù)中，計(jì)算單元陣列的行數(shù)和列數(shù)相同。具體地說，在所述計(jì)算單元陣列中，同一列的多個(gè)計(jì)算單元，從同一個(gè)對(duì)應(yīng)的片上存儲(chǔ)模塊接收用于計(jì)算的、來自同一個(gè)輸入通道的數(shù)據(jù)，并行地執(zhí)行同一個(gè)輸入通道的計(jì)算；同一行的多個(gè)計(jì)算單元，并行地執(zhí)行多個(gè)輸出通道的計(jì)算，其產(chǎn)生的輸出數(shù)據(jù)，求和后寫入、或直接寫入同一個(gè)對(duì)應(yīng)的片上存儲(chǔ)模塊。本專利技術(shù)中，所述中央控制單元以廣播的方式將指令發(fā)送給所有的所述計(jì)算單元。本專利技術(shù)中，為了節(jié)約功耗，所述中央處理單元可以以行或列為單位關(guān)閉部分所述計(jì)算單元的時(shí)鐘信號(hào)。本專利技術(shù)中，所述多個(gè)片上存儲(chǔ)模塊中的每個(gè)存儲(chǔ)模塊，被配置成隨機(jī)存儲(chǔ)器、或多級(jí)存儲(chǔ)器組成的緩存系統(tǒng)。本專利技術(shù)的技術(shù)效果是，該深度神經(jīng)網(wǎng)絡(luò)加速芯片的運(yùn)算裝置能夠在計(jì)算過程中將數(shù)據(jù)流按通道與存儲(chǔ)器的對(duì)應(yīng)關(guān)系進(jìn)行組織，避免計(jì)算單元在多個(gè)存儲(chǔ)器間交叉訪問，減少數(shù)據(jù)在存儲(chǔ)器間的搬運(yùn)次數(shù)，從而提高了芯片的能效。附圖說明圖1為本專利技術(shù)實(shí)施例的頂層模塊框圖。圖2為本專利技術(shù)實(shí)施例的乘累加計(jì)算單元的結(jié)構(gòu)。具體實(shí)施方式以下結(jié)合具體實(shí)施例和附圖對(duì)本專利技術(shù)的技術(shù)方案做進(jìn)一步說明。應(yīng)理解，以下描述的實(shí)施例是用于對(duì)本專利技術(shù)技術(shù)方案的說明而非限制。附圖僅僅是本專利技術(shù)的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。實(shí)施例是一個(gè)深度神經(jīng)網(wǎng)絡(luò)卷積運(yùn)算加速器的運(yùn)算裝置。圖1其頂層模塊框圖。所述裝置包括16個(gè)兩級(jí)片上存儲(chǔ)模塊11、一個(gè)16x16乘累加計(jì)算單元陣列12、中央控制單元13。每個(gè)存儲(chǔ)模塊11包括一個(gè)二級(jí)緩存111和一個(gè)一級(jí)只讀緩存112，它們都由片上SRAM實(shí)現(xiàn)。一級(jí)只讀緩存中的數(shù)據(jù)是對(duì)二級(jí)緩存中數(shù)據(jù)的一個(gè)拷貝，只允許計(jì)算單元從中讀取數(shù)據(jù)；二級(jí)緩存允許計(jì)算單元直接對(duì)其讀或?qū)憽Ｔ谟?jì)算中，輸入特征值按照通道的標(biāo)號(hào)依次存放在16個(gè)存儲(chǔ)模塊中，即第1個(gè)輸入通道的數(shù)據(jù)存放在第1個(gè)存儲(chǔ)模塊中，第2個(gè)輸入通道的數(shù)據(jù)存放在第2個(gè)存儲(chǔ)模塊中，以此類推。如圖2所示，本實(shí)施例中的計(jì)算單元121由乘累加器實(shí)現(xiàn)，每個(gè)計(jì)算單元都承擔(dān)著一個(gè)二維卷積的計(jì)算。應(yīng)理解，計(jì)算單元的具體實(shí)現(xiàn)可以根據(jù)需要加速的運(yùn)算需要選取不同的實(shí)現(xiàn)，而不僅限于此。計(jì)算單元陣列中的256個(gè)計(jì)算單元完全相同。同一列的16個(gè)計(jì)算單元分享來自同一個(gè)存儲(chǔ)模塊的特征值輸入，因此同一時(shí)刻，它們的輸入總是來自同一個(gè)輸入通道。單個(gè)計(jì)算單元每完成一次二維卷積的同時(shí)，同一行的計(jì)算單元將產(chǎn)生16個(gè)輸出，這16個(gè)輸出通過加法樹122疊加產(chǎn)生輸出特征值的其中一個(gè)通道的一個(gè)結(jié)果。由于計(jì)算單元陣列中有16行，因此同時(shí)輸出16個(gè)輸出通道的特征值，并寫回對(duì)應(yīng)的存儲(chǔ)模塊的二級(jí)緩存。寫回完成后，第1個(gè)輸出通道的數(shù)據(jù)存放在第1個(gè)存儲(chǔ)模塊中，第2個(gè)輸出通道的數(shù)據(jù)存放在第2個(gè)存儲(chǔ)模塊中，以此類推。由于輸出特征值在16個(gè)存儲(chǔ)模塊中也是按照通道標(biāo)號(hào)分別寫回的，因此它們無需調(diào)整位置就可以作為下一層的輸入特征值，呈現(xiàn)出了通道自組織的特性。中央控制單元13在本實(shí)施例中包括：一個(gè)DDR3接口131與片外進(jìn)行數(shù)據(jù)交換，和一個(gè)AXI4接口132接收來自上位機(jī)的指令。本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種通道自組織的深度神經(jīng)網(wǎng)絡(luò)加速芯片的運(yùn)算裝置，其特征在于，包括：多個(gè)片上存儲(chǔ)模塊，用于存儲(chǔ)參加計(jì)算的特征值；一個(gè)深度神經(jīng)網(wǎng)絡(luò)計(jì)算單元陣列，用于深度神經(jīng)網(wǎng)絡(luò)算法中的卷積、和/或矩陣乘法、和/或池化層算法的運(yùn)算；中央控制單元，用于控制計(jì)算過程和數(shù)據(jù)流向，以及同外界的數(shù)據(jù)交互；所述深度神經(jīng)網(wǎng)絡(luò)計(jì)算單元陣列，是由若干計(jì)算單元排列成的、多行多列的二維空間陣列;在所述中央控制單元的控制下，計(jì)算單元陣列以行或列為單位，從所述多個(gè)片上存儲(chǔ)模塊的全部或部分中并行地讀取數(shù)據(jù)，計(jì)算后將結(jié)果并行地寫入所述多個(gè)片上存儲(chǔ)模塊的全部或部分中，形成輸入通道與輸出通道的自組織。
【技術(shù)特征摘要】
1.一種通道自組織的深度神經(jīng)網(wǎng)絡(luò)加速芯片的運(yùn)算裝置，其特征在于，包括：多個(gè)片上存儲(chǔ)模塊，用于存儲(chǔ)參加計(jì)算的特征值；一個(gè)深度神經(jīng)網(wǎng)絡(luò)計(jì)算單元陣列，用于深度神經(jīng)網(wǎng)絡(luò)算法中的卷積、和/或矩陣乘法、和/或池化層算法的運(yùn)算；中央控制單元，用于控制計(jì)算過程和數(shù)據(jù)流向，以及同外界的數(shù)據(jù)交互；所述深度神經(jīng)網(wǎng)絡(luò)計(jì)算單元陣列，是由若干計(jì)算單元排列成的、多行多列的二維空間陣列;在所述中央控制單元的控制下，計(jì)算單元陣列以行或列為單位，從所述多個(gè)片上存儲(chǔ)模塊的全部或部分中并行地讀取數(shù)據(jù)，計(jì)算后將結(jié)果并行地寫入所述多個(gè)片上存儲(chǔ)模塊的全部或部分中，形成輸入通道與輸出通道的自組織。2.根據(jù)權(quán)利要求1所述的深度神經(jīng)網(wǎng)絡(luò)加速芯片的運(yùn)算裝置，其特征在于，深度神經(jīng)網(wǎng)絡(luò)算法中的特征值按照通道序號(hào)依次存儲(chǔ)于不同的所述存儲(chǔ)模塊中。3.根據(jù)權(quán)利要求1所述的深度神經(jīng)網(wǎng)絡(luò)加速芯片的運(yùn)算...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：朱浩哲，王彧，張怡云，史傳進(jìn)，
申請(qǐng)(專利權(quán))人：復(fù)旦大學(xué)，
類型：發(fā)明
國別省市：上海,31
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。