【技術實現步驟摘要】
本專利技術涉及計算機視覺(computer?vision，cv)，尤其涉及一種視覺硬件的加速器框架，以及一種非線性連續地址訪問引擎(non?linear?access?engine，nlae)。
技術介紹
1、在計算機視覺
，無論是線下的神經網絡模型訓練，還是線上的神經網絡推理，都涉及大量的數據計算。通用的處理器芯片soc(system?on?chip)在執行這類計算時通常需要耗費較多的時間及能源。為此，本領域通常需要開發特定的硬件加速器來提供更高的性能和更低的能耗，從而滿足線下訓練和線上推理的任務需求。
2、然而，在現有的硬件加速器框架中，讀寫控制的對外傳輸控制協議通常耦合于傳輸數據業務，需要在改變接口類型、數據寬度及緩存大小時大范圍修改硬件加速器的應用環境，并需要技術人員重新進行開發與驗證，因此存在開發周期長、修改難度高、應用場景單一及缺乏靈活性的問題。
3、為了克服現有技術所存在的上述缺陷，本領域亟需一種視覺硬件的加速技術，用于提高加速器框架的靈活性，以適應計算機視覺
豐富的soc應用場景。
技術實現思路
1、以下給出一個或多個方面的簡要概述以提供對這些方面的基本理解。此概述不是所有構想到的方面的詳盡綜覽，并且既非旨在指認出所有方面的關鍵性或決定性要素亦非試圖界定任何或所有方面的范圍。其唯一的目的是要以簡化形式給出一個或多個方面的一些概念以為稍后給出的更加詳細的描述之前序。
2、為了克服現有技術所存在的上述缺陷，本專利技術提供了
3、具體來說，根據本專利技術的第一方面提供的上述視覺硬件的加速器框架包括系統控制器、視覺加速器(vision?accelerator，vacc)及sram(static?random?access?memory)控制器。所述系統控制器中配置有用于進行讀寫控制的第一接口，以及用于進行sram數據讀寫的第二接口。所述視覺加速器連接所述系統控制器及sram，并被配置為：根據從所述系統控制器獲取的計算指令，從所述sram讀取并計算dma(direct?memory?access)數據，并將計算結果輸出到所述sram。所述sram控制器連接所述系統控制器、所述視覺加速器及所述sram的多個存儲器組，并被配置為：根據預先定義的優先級，仲裁從所述系統控制器及所述視覺加速器獲取的訪問請求，以進行所述sram的各所述存儲器組的并行訪問。
4、進一步地，在本專利技術的一實施例中，所述系統控制器中配置有csr(control/status?register)讀寫控制模塊、wdma(dma?writing)模塊及rdma(dma?reading)模塊。所述第一接口被配置于所述csr讀寫控制模塊，包括第一總線接口及第一處理器接口。所述csr讀寫控制模塊經由所述第一總線接口進行csr訪問，并經由所述第一處理器接口進行所述讀寫控制。所述第二接口包括被配置于所述wdma模塊的第二總線接口，以及被配置于所述rdma模塊的第三總線接口。所述wdma模塊經由所述第二總線接口向外寫出sram數據。所述rdma模塊經由所述第三總線接口從外部讀入sram數據。
5、進一步地，在本專利技術的一實施例中，所述系統控制器中還配置有激勵器。所述激勵器中配置有讀入定序器、執行定序器及寫出定序器，并被配置為：經由所述csr讀寫控制模塊獲取啟動控制信號，以產生讀寫指令和/或計算指令；根據所述讀寫指令，經由所述讀入定序器生成圖像塊讀入請求，以啟動所述rdma模塊從外部讀入sram數據；響應于所述rdma模塊返回的完成信號，將所述計算指令存入所述執行定序器的指令讀取隊列，以依序向所述視覺加速器發送所述計算指令；響應于所述視覺加速器返回的反饋信號，向所述寫出定序器的輸出任務隊列添加圖像塊寫出指令；以及經由所述寫出定序器依序向所述wdma模塊輸出所述圖像塊寫出指令，以啟動所述wdma模塊向所述sram寫出sram數據。
6、進一步地，在本專利技術的一實施例中，所述rdma模塊連接所述讀入定序器，并被配置為：經由所述讀入定序器獲取所述圖像塊讀入請求，以生成對應的外部數據讀地址及sram數據寫地址；經由所述第三總線接口，向外部輸出關于所述外部數據讀地址的dma讀請求，以獲取外部返回的dma數據；將所述dma數據存入所述rdma模塊的第一緩存隊列中；以及根據所述sram支持的最大行緩存長度，將所述第一緩存隊列中的緩存數據依序寫出到所述sram數據寫地址。
7、進一步地，在本專利技術的一實施例中，所述wdma模塊連接所述寫出定序器，并被配置為：經由所述寫出定序器獲取所述圖像塊寫出請求，以生成對應的外部數據寫地址及sram數據讀地址；根據所述sram數據讀地址，從所述sram讀取對應的sram數據，并將其存入所述wdma模塊的第二緩存隊列中；以及根據所述第二緩存隊列中的緩存數據，經由所述第二總線接口依序向外部輸出關于所述外部數據寫地址的dma寫請求及dma數據。
8、進一步地，在本專利技術的一實施例中，所述系統控制器中還配置有接口協議適配模塊。所述接口協議適配模塊的控制接口前端連接所述csr讀寫控制模塊，用于將外部讀寫請求轉換成符合第一總線接口協議的csr讀寫請求，以進行csr寄存器的讀寫。所述接口協議適配模塊的對外寫數據前端連接所述wdma模塊，用于將外部數據寫地址轉換成符合第二總線接口協議的dma寫請求，以向外部寫出dma數據。所述接口協議適配模塊的對外讀數據前端連接所述rdma模塊，用于將外部數據讀地址轉換成符合第三總線接口協議的dma讀請求，以獲取外部返回的dma數據。
9、進一步地，在本專利技術的一實施例中，所述第一總線接口、所述第二總線接口及所述第三總線接口選自axil接口和/或apb接口，和/或所述第一處理器接口選自vcix接口、tieq接口和/或rocc接口。
10、進一步地，在本專利技術的一實施例中，所述根據從所述系統控制器獲取的計算指令，從所述sram讀取并計算dma數據，并將計算結果輸出到所述sram的步驟包括：根據m矩陣的初始化參數，建立關于切片偏移、圖像塊寬度和/或圖像塊高度的切片策略；響應于從所述系統控制器獲取的計算指令，根據所述切片策略從所述sram逐一讀取多個圖像塊的dma數據，以進行卷曲(warp)計算；以及將所述卷曲計算的結果數據，輸出到所述sram。
11、進一步地，在本專利技術的一實施例中，所述加速器框架中還包括非線性連續地址訪問引擎(nlae)。所述視覺加速器還連接所述非線性連續地址訪問引擎，并被配置為：根據從所述系統控制器獲取的計算指令，從所述非線性連續地址訪問引擎讀取并計算dma數據，并將計算結果輸出到所述sram。所述非線性連續地址訪問引擎被配置為：根據從所述視覺加速器獲取的非連續地址的向量讀取請求，確定所述sram中多個存儲器組的序列訪問請求本文檔來自技高網...
【技術保護點】
1.一種視覺硬件的加速器框架，其特征在于，包括：
2.如權利要求1所述的加速器框架，其特征在于，所述系統控制器中配置有CSR讀寫控制模塊、WDMA模塊及RDMA模塊，其中，
3.如權利要求2所述的加速器框架，其特征在于，所述系統控制器中還配置有激勵器，所述激勵器中配置有讀入定序器、執行定序器及寫出定序器，并被配置為：
4.如權利要求3所述的加速器框架，其特征在于，所述RDMA模塊連接所述讀入定序器，并被配置為：
5.如權利要求3所述的加速器框架，其特征在于，所述WDMA模塊連接所述寫出定序器，并被配置為：
6.如權利要求2所述的加速器框架，其特征在于，所述系統控制器中還配置有接口協議適配模塊，其中，
7.如權利要求2所述的加速器框架，其特征在于，所述第一總線接口、所述第二總線接口及所述第三總線接口選自AXIL接口和/或APB接口，和/或
8.如權利要求1所述的加速器框架，其特征在于，所述根據從所述系統控制器獲取的計算指令，從所述SRAM讀取并計算DMA數據，并將計算結果輸出到所述SRAM的步驟包括
9.如權利要求1所述的加速器框架，其特征在于，還包括非線性連續地址訪問引擎，其中，
10.如權利要求9所述的加速器框架，其特征在于，所述非線性連續地址訪問引擎中配置有分別對應各所述存儲器組的多個合并單元及多個BSM單元，所述根據從所述視覺加速器獲取的非連續地址的向量讀取請求，確定所述SRAM中多個存儲器組的序列訪問請求，以并發訪問各所述存儲器組的步驟包括：
11.如權利要求10所述的加速器框架，其特征在于，所述非線性連續地址訪問引擎中還配置有分別對應各所述存儲器組的多個數據返回單元，所述從各所述存儲器組讀出對應的存儲數據，并對其進行基于元素位置的合并的步驟包括：
12.如權利要求9所述的加速器框架，其特征在于，所述SRAM控制器中配置有分別對應各所述存儲器組的多對仲裁單元，其中，
13.如權利要求12所述的加速器框架，其特征在于，所述SRAM控制器經由numBanks個SyncReadMem參數組成的數組，表示每個所述存儲器組對應的SRAM，并經由numBanks個arbiter_id組成的數組，表示每個所述存儲器組對應的仲裁單元。
14.如權利要求12所述的加速器框架，其特征在于，所述SRAM控制器中還配置有分別對應各所述存儲器組的多個解復用邏輯單元，其中，
15.如權利要求14所述的加速器框架，其特征在于，所述解復用邏輯單元使用when-elsewhen語句來解復用各所述存儲器組的輸出數據。
16.一種非線性連續地址訪問引擎，其特征在于，所述非線性連續地址訪問引擎分別連接視覺加速器及SRAM，并被配置為：
...【技術特征摘要】
1.一種視覺硬件的加速器框架，其特征在于，包括：
2.如權利要求1所述的加速器框架，其特征在于，所述系統控制器中配置有csr讀寫控制模塊、wdma模塊及rdma模塊，其中，
3.如權利要求2所述的加速器框架，其特征在于，所述系統控制器中還配置有激勵器，所述激勵器中配置有讀入定序器、執行定序器及寫出定序器，并被配置為：
4.如權利要求3所述的加速器框架，其特征在于，所述rdma模塊連接所述讀入定序器，并被配置為：
5.如權利要求3所述的加速器框架，其特征在于，所述wdma模塊連接所述寫出定序器，并被配置為：
6.如權利要求2所述的加速器框架，其特征在于，所述系統控制器中還配置有接口協議適配模塊，其中，
7.如權利要求2所述的加速器框架，其特征在于，所述第一總線接口、所述第二總線接口及所述第三總線接口選自axil接口和/或apb接口，和/或
8.如權利要求1所述的加速器框架，其特征在于，所述根據從所述系統控制器獲取的計算指令，從所述sram讀取并計算dma數據，并將計算結果輸出到所述sram的步驟包括：
9.如權利要求1所述的加速器框架，其特征在于，還包括非線性連續地址訪問引擎，其中，
10.如權利要求9所述的加速器框架，其特征在于，所述非線性連續地址訪問引擎中配置有分別對應各所述存儲器組的...
【專利技術屬性】
技術研發人員：黃啟才，
申請(專利權)人：萬有引力寧波電子科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。