【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及計(jì)算機(jī)視覺(jué)，尤其涉及基于fpga的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法。
技術(shù)介紹
1、目標(biāo)檢測(cè)技術(shù)在社會(huì)生活的各個(gè)領(lǐng)域都發(fā)揮著重要作用。在智能監(jiān)控領(lǐng)域，高效的目標(biāo)檢測(cè)能夠?qū)崟r(shí)監(jiān)測(cè)和識(shí)別人員、車輛等目標(biāo)，提供更安全和智能化的監(jiān)控系統(tǒng)。在自動(dòng)駕駛領(lǐng)域，快速準(zhǔn)確的目標(biāo)檢測(cè)是實(shí)現(xiàn)可靠的交通環(huán)境感知的關(guān)鍵。而在工業(yè)自動(dòng)化和機(jī)器人領(lǐng)域，目標(biāo)檢測(cè)則可以用于物體識(shí)別、物流管理等應(yīng)用，提高生產(chǎn)效率和質(zhì)量。然而，目標(biāo)檢測(cè)算法復(fù)雜、計(jì)算量大、實(shí)時(shí)性要求高對(duì)傳統(tǒng)的計(jì)算平臺(tái)帶來(lái)了更高的挑戰(zhàn)。為了滿足這些需求并推動(dòng)目標(biāo)檢測(cè)技術(shù)的進(jìn)一步落地應(yīng)用，fpga(field-programmablegatearray，現(xiàn)場(chǎng)可編程門陣列)技術(shù)得到了廣泛關(guān)注。fpga具有高性能、低功耗和靈活配置的優(yōu)勢(shì)，使得目標(biāo)檢測(cè)應(yīng)用更加快速、智能和高效。
2、fpga的并行處理能力尤其適合于算法的快速驗(yàn)證和測(cè)試，盡管fpga提供了多方面的優(yōu)勢(shì)，其在實(shí)際應(yīng)用中仍存在一些局限性。首先，fpga的硬件加速設(shè)計(jì)需要專業(yè)的硬件描述語(yǔ)言編程知識(shí)，這增加了設(shè)計(jì)的復(fù)雜性和開(kāi)發(fā)難度；其次，fpga的可編程性雖然提供了靈活性，但與專用的asic(應(yīng)用特定集成電路)相比，在性能和能效上可能存在差距。此外，fpga的資源利用率和時(shí)鐘頻率可能受限于其物理特性和設(shè)計(jì)約束，這可能影響目標(biāo)檢測(cè)模型在fpga上運(yùn)行時(shí)的性能表現(xiàn)。最后，fpga的硬件加速方案可能需要針對(duì)不同的算法或模型進(jìn)行定制化設(shè)計(jì)，這增加了開(kāi)發(fā)成本和周期。
3、綜上所述，雖然fpga在ai推理性能提升和硬件資源使用效率方面
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)提供基于fpga的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，降低計(jì)算單元的復(fù)雜度，提高算法運(yùn)行速度，以解決目標(biāo)檢測(cè)模型在fpga上應(yīng)用存在性能、資源利用率不足的問(wèn)題。
2、本專利技術(shù)通過(guò)下述技術(shù)方案實(shí)現(xiàn)：
3、本專利技術(shù)提供一種基于fpga的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，將目標(biāo)檢測(cè)模型部署在zynq芯片板卡中，所述加速設(shè)計(jì)方法包括：
4、采用塊ram作為特征圖緩沖單元，在所述特征圖緩沖單元的輸入端將外圍設(shè)備提供的ddr4數(shù)據(jù)轉(zhuǎn)換為流數(shù)據(jù)，并采用行掃描的方式進(jìn)行存儲(chǔ)；
5、在將特征圖輸入卷積處理之前，通過(guò)量化運(yùn)算單元對(duì)所述特征圖進(jìn)行處理，將浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換為定點(diǎn)數(shù)據(jù)；
6、將量化后的特征圖和模型權(quán)重輸入卷積運(yùn)算單元中執(zhí)行卷積運(yùn)算，在所述卷積運(yùn)算單元中，每次卷積將特征圖按行分組緩存至行緩沖區(qū)，再與權(quán)重矩陣進(jìn)行逐位置相乘并相加；
7、將卷積結(jié)果輸出至ram存儲(chǔ)單元。
8、本專利技術(shù)通過(guò)軟硬件協(xié)同優(yōu)化的方法，提升了yolov5s算法的運(yùn)行速度，保證了目標(biāo)檢測(cè)的準(zhǔn)確性。軟件層面利用arm處理器承擔(dān)數(shù)據(jù)預(yù)處理任務(wù)，將內(nèi)存中的數(shù)據(jù)準(zhǔn)備成卷積操作所需的格式，以適配硬件加速器的需求。硬件部分在fpga配置專門執(zhí)行卷積運(yùn)算的加速器，將圖像數(shù)據(jù)每次按行分組緩存至由寄存器堆組成的行緩沖區(qū)像素矩陣中，再與權(quán)重矩陣進(jìn)行逐位置相乘并相加，模擬卷積運(yùn)算時(shí)的滑動(dòng)窗口效果，并對(duì)模型進(jìn)行定點(diǎn)量化處理，減少了模型的計(jì)算復(fù)雜度和內(nèi)存需求，使得量化后的模型能夠高效地部署在zynq平臺(tái)上執(zhí)行計(jì)算任務(wù)。完成卷積計(jì)算后，結(jié)果數(shù)據(jù)被傳回arm處理器的內(nèi)存中，由arm處理器完成后續(xù)數(shù)據(jù)處理和緩存操作。通過(guò)軟硬件協(xié)同優(yōu)化的方法，提升了目標(biāo)檢測(cè)算法的運(yùn)行速度，保證了目標(biāo)檢測(cè)的準(zhǔn)確性，實(shí)現(xiàn)了高效能、低功耗的智能處理系統(tǒng)。
9、進(jìn)一步地，所述將量化后的特征圖和模型權(quán)重輸入卷積運(yùn)算單元中執(zhí)行卷積運(yùn)算，包括：
10、根據(jù)網(wǎng)絡(luò)配置參數(shù)獲取網(wǎng)絡(luò)層數(shù)，并初始化網(wǎng)絡(luò)層；
11、通過(guò)目標(biāo)檢測(cè)模型前向推理遍歷網(wǎng)絡(luò)層，判斷當(dāng)前網(wǎng)絡(luò)層是否是卷積層；
12、若是卷積層，則初始化卷積調(diào)度狀態(tài)機(jī)，發(fā)送一次卷積運(yùn)算所需的特征圖、權(quán)重和偏置的量化參數(shù)到卷積運(yùn)算單元執(zhí)行卷積運(yùn)算；若不是卷積層，則判斷輸入層數(shù)據(jù)是否計(jì)算完畢，待輸入層數(shù)據(jù)計(jì)算完畢，則加載輸入層數(shù)據(jù)并計(jì)算；
13、判斷是否所有網(wǎng)絡(luò)層計(jì)算完畢，若是，則結(jié)束運(yùn)算；若否，則計(jì)算下一網(wǎng)絡(luò)層。
14、進(jìn)一步地，在執(zhí)行卷積運(yùn)算之前，將目標(biāo)檢測(cè)模型部署在zynq芯片板卡，包括：
15、訓(xùn)練所述目標(biāo)檢測(cè)模型，獲取目標(biāo)檢測(cè)模型的網(wǎng)絡(luò)層數(shù)和每一層的權(quán)重；
16、將權(quán)重值和偏置參數(shù)值定點(diǎn)化，得到定點(diǎn)化模型參數(shù)，生成二進(jìn)制的權(quán)重偏置文件，部署到zynq芯片板卡中。
17、進(jìn)一步地，所述通過(guò)量化運(yùn)算單元對(duì)所述特征圖進(jìn)行處理，將浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換為定點(diǎn)數(shù)據(jù)，包括：通過(guò)frexp函數(shù)將浮點(diǎn)數(shù)據(jù)分解為尾數(shù)m0和指數(shù)n。
18、進(jìn)一步地，在卷積運(yùn)算單元中，以低位寬度進(jìn)行乘法運(yùn)算，使用int18作為累加器位寬；
19、對(duì)完成所有累加后產(chǎn)生的int18型數(shù)據(jù)執(zhí)行飽和處理，將int18截?cái)酁閕nt16，再與uint16型的尾數(shù)m0進(jìn)行乘法運(yùn)算，得到int32型數(shù)據(jù)；
20、若int32型數(shù)據(jù)的第[15+shift_fator-1]位為1，則將數(shù)據(jù)進(jìn)行右移后加1，得到運(yùn)算結(jié)果，若第[15+shift_fator-1]位為0，則保持運(yùn)算結(jié)果不變，shift_fator為偏移值；
21、將運(yùn)算結(jié)果執(zhí)行15位加上shift_fator的右移操作，得到int16型數(shù)據(jù)，再次執(zhí)行飽和處理，將int16型轉(zhuǎn)換為int18型。
22、進(jìn)一步地，所述卷積運(yùn)算單元采用dsp48作為乘法器，累加器采用三叉樹(shù)加法器。
23、進(jìn)一步地，利用dsp48實(shí)現(xiàn)兩個(gè)乘法并行計(jì)算，方法為：
24、將兩個(gè)int8乘法a×c和b×c等效為(a+b)×c，將a數(shù)據(jù)的高9位輸入dsp48的27位的第一輸入端口，并對(duì)a執(zhí)行符號(hào)位擴(kuò)展，從8位擴(kuò)充至9位，其余位補(bǔ)零；
25、將數(shù)據(jù)b的高9位輸入dsp48的27位的第二輸入端口，并對(duì)b執(zhí)行符號(hào)位擴(kuò)展，從8位擴(kuò)充至9位，其余位補(bǔ)零；
26、將數(shù)據(jù)c的低8位輸入dsp48的18位的第三輸入端口，并對(duì)c執(zhí)行符號(hào)位擴(kuò)展，從8位擴(kuò)充至9位，其余位補(bǔ)零；
27、dsp48的48位輸出端口輸出兩個(gè)乘法的運(yùn)算結(jié)果。
28、進(jìn)一步地，所述行緩沖區(qū)的長(zhǎng)度可配置，每行長(zhǎng)度根據(jù)對(duì)應(yīng)網(wǎng)絡(luò)層的圖像尺寸大小進(jìn)行配置。
29、進(jìn)一步地，在所述特征圖緩沖單元引入乒乓緩沖機(jī)制。
30、進(jìn)一步地，所述目標(biāo)檢測(cè)模型為yolov5s，所述板卡為zynq?ultrascale+芯片板卡。
31、本專利技術(shù)與現(xiàn)有技術(shù)相比，具有如下的優(yōu)點(diǎn)和有益效果：
32、本專利技術(shù)采用zynq作為硬件平臺(tái)，通過(guò)軟硬件協(xié)作設(shè)計(jì)方法對(duì)目標(biāo)檢測(cè)算法進(jìn)行加速優(yōu)化，提升了目標(biāo)檢測(cè)算法的運(yùn)行本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.基于FPGA的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，其特征在于，將目標(biāo)檢測(cè)模型部署在ZYNQ芯片板卡中，所述加速設(shè)計(jì)方法包括：
2.根據(jù)權(quán)利要求1所述的基于FPGA的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，其特征在于，所述將量化后的特征圖和模型權(quán)重輸入卷積運(yùn)算單元中執(zhí)行卷積運(yùn)算，包括：
3.根據(jù)權(quán)利要求2所述的基于FPGA的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，其特征在于，在執(zhí)行卷積運(yùn)算之前，將目標(biāo)檢測(cè)模型部署在ZYNQ芯片板卡，包括：
4.根據(jù)權(quán)利要求1所述的基于FPGA的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，其特征在于，所述通過(guò)量化運(yùn)算單元對(duì)所述特征圖進(jìn)行處理，將浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換為定點(diǎn)數(shù)據(jù)，包括：通過(guò)frexp函數(shù)將浮點(diǎn)數(shù)據(jù)分解為尾數(shù)M0和指數(shù)n。
5.根據(jù)權(quán)利要求4所述的基于FPGA的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，其特征在于，在卷積運(yùn)算單元中，以低位寬度進(jìn)行乘法運(yùn)算，使用INT18作為累加器位寬；
6.根據(jù)權(quán)利要求5所述的基于FPGA的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，其特征在于，所述卷積運(yùn)算單元采用DSP48作為乘法器，累加器采用三叉樹(shù)加法器。
7.根據(jù)權(quán)利要求
8.根據(jù)權(quán)利要求1所述的基于FPGA的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，其特征在于，所述行緩沖區(qū)的長(zhǎng)度可配置，每行長(zhǎng)度根據(jù)對(duì)應(yīng)網(wǎng)絡(luò)層的圖像尺寸大小進(jìn)行配置。
9.根據(jù)權(quán)利要求1所述的基于FPGA的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，其特征在于，在所述特征圖緩沖單元引入乒乓緩沖機(jī)制。
10.根據(jù)權(quán)利要求1所述的基于FPGA的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，其特征在于，所述目標(biāo)檢測(cè)模型為YOLOv5s，所述板卡為ZYNQ?Ultrascale+芯片板卡。
...【技術(shù)特征摘要】
1.基于fpga的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，其特征在于，將目標(biāo)檢測(cè)模型部署在zynq芯片板卡中，所述加速設(shè)計(jì)方法包括：
2.根據(jù)權(quán)利要求1所述的基于fpga的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，其特征在于，所述將量化后的特征圖和模型權(quán)重輸入卷積運(yùn)算單元中執(zhí)行卷積運(yùn)算，包括：
3.根據(jù)權(quán)利要求2所述的基于fpga的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，其特征在于，在執(zhí)行卷積運(yùn)算之前，將目標(biāo)檢測(cè)模型部署在zynq芯片板卡，包括：
4.根據(jù)權(quán)利要求1所述的基于fpga的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，其特征在于，所述通過(guò)量化運(yùn)算單元對(duì)所述特征圖進(jìn)行處理，將浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換為定點(diǎn)數(shù)據(jù)，包括：通過(guò)frexp函數(shù)將浮點(diǎn)數(shù)據(jù)分解為尾數(shù)m0和指數(shù)n。
5.根據(jù)權(quán)利要求4所述的基于fpga的目標(biāo)檢測(cè)模型加速設(shè)計(jì)方法，其特征在于，在卷積運(yùn)算單元中，以低位寬度進(jìn)行乘法運(yùn)算，使用i...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王京，彭耀星，陳顯森，夏于洋，李青，王英翹，
申請(qǐng)(專利權(quán))人：核工業(yè)西南物理研究院，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。