本發(fā)明專利技術(shù)公開一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器及方法，包括：函數(shù)配置模塊，用于生成分段函數(shù)段位與分段值信息，并對函數(shù)運算構(gòu)造模塊發(fā)送函數(shù)構(gòu)造配置信息與操作數(shù)信息；分段函數(shù)信息生成模塊根據(jù)函數(shù)配置模塊的信息對函數(shù)的輸入值生成函數(shù)段位信息，并與函數(shù)的輸入值進行組合后輸出到函數(shù)運算構(gòu)造模塊；函數(shù)運算構(gòu)造模塊可實現(xiàn)N個模塊進行串聯(lián)，實現(xiàn)函數(shù)表達式中所需的所有運算步驟，同時，每個函數(shù)運算構(gòu)造模塊具有使能開關(guān)，若使能關(guān)閉，則模塊被屏蔽。本發(fā)明專利技術(shù)可以實現(xiàn)面向卷積神經(jīng)網(wǎng)絡的激活層激活函數(shù)的靈活配置。
【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于數(shù)字集成電路，特別涉及一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器及方法。
技術(shù)介紹
1、卷積神經(jīng)網(wǎng)絡（convolutional?neural?networks，cnn）在人工智能領(lǐng)域中，已被廣泛用于圖像檢測和分類等視覺處理場景中。目前，基于cnn的網(wǎng)絡模型種類繁多，yolo、resnet、mobilenet和vggnet等網(wǎng)絡模型都已經(jīng)被廣泛使用。
2、激活層是卷積神經(jīng)網(wǎng)絡模型中的必要環(huán)節(jié)，也是能區(qū)分網(wǎng)絡模型識別率的重要手段之一。每個網(wǎng)絡模型中常見的激活層函數(shù)各不相同，如yolo中用relu和sigmoid等函數(shù)作為激活層的常用函數(shù)，resnet中常用prelu和celu函數(shù)作為常用的激活層函數(shù)，mobilenet中常用hardswish和hardsigmoid函數(shù)作為常用的激活層函數(shù)，vggnet中常用elu、leakyrelu和prelu函數(shù)作為常用的激活層函數(shù)，因此，面向卷積神經(jīng)網(wǎng)絡的不同網(wǎng)絡模型在激活層上都會使用不同的激活函數(shù)，而市面上的卷積神經(jīng)網(wǎng)絡加速芯片對激活函數(shù)的支持種類有限，當新的網(wǎng)絡模型出現(xiàn)以后，其激活函數(shù)經(jīng)常會得不到硬件層面的支持，廠家只能將激活層的計算任務放在cpu中運行，從而使運行效率大打折扣。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的在于克服現(xiàn)有技術(shù)的上述不足，本專利技術(shù)提供一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器及方法，可以實現(xiàn)面向卷積神經(jīng)網(wǎng)絡的激活層激活函數(shù)的靈活配置，以實現(xiàn)各類卷積神經(jīng)網(wǎng)絡的網(wǎng)絡模型中激活層的硬件級加速。</p>2、為解決上述技術(shù)問題，本專利技術(shù)提供了一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，包括：
3、函數(shù)配置模塊，用于獲取并存儲上位機軟件發(fā)送的分段函數(shù)段位與分段值信息、以及分段函數(shù)中各段位的函數(shù)構(gòu)造配置與操作數(shù)信息；且分段函數(shù)段位與分段值信息發(fā)送到分段函數(shù)信息生成模塊內(nèi)的輸入值函數(shù)段位判斷器，分段函數(shù)中各段位的函數(shù)構(gòu)造配置與操作數(shù)信息發(fā)送到函數(shù)運算構(gòu)造模塊；
4、分段函數(shù)信息生成模塊，根據(jù)函數(shù)配置模塊的分段函數(shù)段位與分段值信息，對函數(shù)的輸入值進行判定，生成函數(shù)段位信息，并與函數(shù)的輸入值進行數(shù)據(jù)組合后輸出到函數(shù)運算構(gòu)造模塊；
5、函數(shù)運算構(gòu)造模塊，通過n個函數(shù)運算構(gòu)造模塊進行串聯(lián)，以實現(xiàn)函數(shù)表達式中所需的所有運算步驟；同時每個函數(shù)運算構(gòu)造模塊具有使能開關(guān)，若使能關(guān)閉，則函數(shù)運算構(gòu)造模塊被屏蔽，數(shù)據(jù)從函數(shù)運算構(gòu)造模塊的輸入端直接轉(zhuǎn)發(fā)至輸出端；
6、其中，所述函數(shù)運算構(gòu)造模塊包括：
7、一級處理單元，用于接收分段函數(shù)信息生成模塊內(nèi)段位信息生成器發(fā)送的段位信息和函數(shù)輸入值，并根據(jù)段位信息查詢函數(shù)配置模塊中與之匹配的函數(shù)構(gòu)造配置與操作數(shù)信息；其中函數(shù)構(gòu)造配置信息決定一級處理單元使用裁剪器、比較器或該一級處理單元不使能直接跳過；
8、二級處理單元，用于接收一級處理單元發(fā)送的段位信息和處理結(jié)果，并根據(jù)段位信息查詢函數(shù)配置模塊中與之匹配的函數(shù)構(gòu)造配置與操作數(shù)信息；其中函數(shù)構(gòu)造配置信息決定二級處理單元使用乘法器、除法器或該二級處理單元不使能直接被跳過；
9、三級處理單元，用于接收二級處理單元發(fā)送的段位信息和處理結(jié)果，并根據(jù)段位信息查詢函數(shù)配置模塊中與之匹配的函數(shù)構(gòu)造配置與操作數(shù)信息；其中函數(shù)構(gòu)造配置信息決定三級處理單元使用加法器、減法器或該三級處理單元不使能直接被跳過；
10、四級處理單元，用于接收三級處理單元發(fā)送的段位信息和處理結(jié)果，并根據(jù)段位信息查詢函數(shù)配置模塊中與之匹配的函數(shù)構(gòu)造配置與操作數(shù)信息；其中函數(shù)構(gòu)造配置信息決定四級處理單元使用倒數(shù)器、絕對值器或該四級處理單元不使能直接被跳過；
11、lut查找表運算器，用于接收四級處理單元發(fā)送的段位信息和處理結(jié)果，并根據(jù)段位信息查詢函數(shù)配置模塊中與之匹配的函數(shù)構(gòu)造配置與操作數(shù)信息；其中函數(shù)構(gòu)造配置信息決定lut查找表運算器是否被跳過以及l(fā)ut查找表的表值，lut查找表運算器用于執(zhí)行冪函數(shù)、開根號或三角函數(shù)復雜函數(shù)的計算。
12、優(yōu)選的，所述分段函數(shù)信息生成模塊包括：
13、輸入值函數(shù)段位判斷器，對函數(shù)的輸入值進行分段函數(shù)的分段區(qū)間段位判斷，輸入值函數(shù)段位判斷器從函數(shù)配置模塊的分段函數(shù)段位與分段值信息中，獲取分段函數(shù)段位數(shù)量n與分段函數(shù)的區(qū)間分段值，并判斷函數(shù)輸入值所在的段位區(qū)間，若在函數(shù)的第一段位區(qū)間則生成段位區(qū)間信息一，并傳到段位信息生成器；以此類推，最大段位區(qū)間信息為n；
14、段位信息生成器，將輸入值函數(shù)段位判斷器發(fā)送的函數(shù)區(qū)間段位信息附加在函數(shù)輸入值前部，并組成新的數(shù)據(jù)通過分段函數(shù)信息生成模塊的輸出端發(fā)送到與其相連的函數(shù)運算構(gòu)造模塊。
15、優(yōu)選的，所述一級處理單元包括：
16、模式選擇器，從分段函數(shù)信息生成模塊獲取到函數(shù)輸入值的段位信息后，通過函數(shù)配置模塊選擇并獲取與輸入值段位匹配的函數(shù)構(gòu)造配置與操作數(shù)信息，然后對裁剪器和比較器二選一使能或均不使能，均不使能時直接跳過一級處理單元；
17、裁剪器，在被使能時，從模式選擇器獲取裁剪器專用操作數(shù)a和操作數(shù)b，若輸入值在操作數(shù)a和操作數(shù)b之間，則直接將段位信息和輸入值轉(zhuǎn)發(fā)輸出到二級處理單元，若輸入值大于操作數(shù)a，則將段位信息和操作數(shù)a輸出到二級處理單元，若輸入值大于操作數(shù)b，則將段位信息和操作數(shù)b輸出到二級處理單元；
18、比較器，在被使能時，從模式選擇器獲取比較器專用操作數(shù)，若比較器處于最大值模式，則操作數(shù)和輸入值取二者的最大值輸出到二級處理單元，若比較器處于最小值模式，則操作數(shù)和輸入值取二者的最小值輸出到二級處理單元。
19、優(yōu)選的，所述一級處理單元內(nèi)裁剪器，用于實現(xiàn)激活類函數(shù)clip的表達式：
20、；
21、其中，y是裁剪器處理后輸出到二級處理單元的結(jié)果，min是裁剪器專用操作數(shù)a，max是裁剪器專用操作數(shù)b，max是取最大值函數(shù)，min是取最小值函數(shù)。
22、優(yōu)選的，所述一級處理單元內(nèi)比較器，用于實現(xiàn)算術(shù)邏輯類函數(shù)max或min的表達式，max為比較器專用操作數(shù)與函數(shù)輸入值比較取最大值輸出到二級處理單元，min為比較器專用操作數(shù)與函數(shù)輸入值比較取最小值輸出到二級處理單元，max和min兩種函數(shù)模式在比較器內(nèi)二選一選通，當函數(shù)表達式不需要clip、max或min函數(shù)表達式時，一級處理單元能夠?qū)⑤斎胫抵苯愚D(zhuǎn)發(fā)到二級處理單元，一級處理單元內(nèi)的裁剪器和比較器二選一選通，被選中時會將段位信息附加在數(shù)值結(jié)果頭部并發(fā)送到二級處理單元。
23、優(yōu)選的，所述二級處理單元包括：
24、模式選擇器，從一級處理單元獲取到段位信息后，通過函數(shù)配置模塊選擇并獲取與輸入值段位匹配的函數(shù)構(gòu)造配置與操作數(shù)信息，然后對乘法器和除法器二選一使能或均不使能，均不使能時直接跳過二級處理單元；
25、乘法器，在被使能時，從模式選擇器獲取乘法器專用操作數(shù)，操作數(shù)與一級計算值相乘，得到的乘法結(jié)果與段位信息一起輸出到三級本文檔來自技高網(wǎng)
...
【技術(shù)保護點】
1.一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，其特征在于，包括：
2.如權(quán)利要求1所述的一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，其特征在于，所述分段函數(shù)信息生成模塊包括：
3.如權(quán)利要求1所述的一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，其特征在于，所述一級處理單元包括：
4.如權(quán)利要求3所述的一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，其特征在于，所述一級處理單元內(nèi)裁剪器，用于實現(xiàn)激活類函數(shù)Clip的表達式：
5.如權(quán)利要求3所述的一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，其特征在于，所述一級處理單元內(nèi)比較器，用于實現(xiàn)算術(shù)邏輯類函數(shù)MAX或MIN的表達式，MAX為比較器專用操作數(shù)與函數(shù)輸入值比較取最大值輸出到二級處理單元，MIN為比較器專用操作數(shù)與函數(shù)輸入值比較取最小值輸出到二級處理單元，MAX和MIN兩種函數(shù)模式在比較器內(nèi)二選一選通，當函數(shù)表達式不需要Clip、MAX或MIN函數(shù)表達式時，一級處理單元能夠?qū)⑤斎胫抵苯愚D(zhuǎn)發(fā)到二級處理單元，一級處理單元內(nèi)的裁剪器和比較器二選一選通，被選中時會將段位信息附加在數(shù)值結(jié)果頭部并發(fā)送到二級處理單元。
6.如權(quán)利要求1所述的一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，其特征在于，所述二級處理單元包括：
7.如權(quán)利要求1所述的一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，其特征在于，所述三級處理單元包括：
8.如權(quán)利要求1所述的一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，其特征在于，所述四級處理單元包括：
9.一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成方法，用以實現(xiàn)各類卷積神經(jīng)網(wǎng)絡的網(wǎng)絡模型中激活層的硬件級加速，采用如權(quán)利要求1~8任一項所述的一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，其特征在于，包括如下步驟：
10.一種計算機設備，其特征在于，用于存儲并執(zhí)行如權(quán)利要求1~8任一項所述的一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器中的上位機軟件，所述上位機軟件用于向函數(shù)配置模塊發(fā)送激活函數(shù)的構(gòu)造信息。
...
【技術(shù)特征摘要】
1.一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，其特征在于，包括：
2.如權(quán)利要求1所述的一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，其特征在于，所述分段函數(shù)信息生成模塊包括：
3.如權(quán)利要求1所述的一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，其特征在于，所述一級處理單元包括：
4.如權(quán)利要求3所述的一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，其特征在于，所述一級處理單元內(nèi)裁剪器，用于實現(xiàn)激活類函數(shù)clip的表達式：
5.如權(quán)利要求3所述的一種面向卷積神經(jīng)網(wǎng)絡的激活類函數(shù)表達式生成器，其特征在于，所述一級處理單元內(nèi)比較器，用于實現(xiàn)算術(shù)邏輯類函數(shù)max或min的表達式，max為比較器專用操作數(shù)與函數(shù)輸入值比較取最大值輸出到二級處理單元，min為比較器專用操作數(shù)與函數(shù)輸入值比較取最小值輸出到二級處理單元，max和min兩種函數(shù)模式在比較器內(nèi)二選一選通，當函數(shù)表達式不需要clip、max或min函數(shù)表達式時，一級處理單元能夠?qū)⑤斎胫抵苯愚D(zhuǎn)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張辛未，王少華，王凱，楊亮，
申請(專利權(quán))人：中電科申泰信息科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。