【技術實現步驟摘要】
本專利技術涉及類腦芯片領域的一種離線訓練方法，具體是一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法。
技術介紹
1、類腦芯片的提出旨在克服傳統馮·諾伊曼電路架構的“內存墻”瓶頸，解決傳統芯片無法滿足人工智能產業對芯片性能及算力需求的問題。憶阻型類腦芯片是類腦芯片的一種主要電路架構，采用新興電子器件憶阻器模擬人工神經突觸，并以交叉互連線作為信號傳輸通道，從而實現存算一體的人腦計算模擬。
2、憶阻型類腦芯片具有結構簡單、器件密度高、制造成本低等優勢，但其硬件實現上存在諸如潛行路徑、電阻壓降和寄生效應等信號完整性問題，往往導致信號傳輸質量較差。然而，傳統的神經網絡訓練方法忽略了此類硬件實現過程中的非理想特性。將傳統訓練方法部署到實際的憶阻型類腦芯片上時，模型性能往往會由于忽視這些非理想因素而大打折扣。
3、目前已有研究人員通過調整神經網絡的架構或優化算法等方式來降低這些電路非理想特性對神經網絡性能的影響，例如通過增加網絡的冗余度或使用容錯訓練算法。然而，此類方法通常會導致計算復雜度和計算資源的增加，且往往需要在模型的精度和效率之間做出妥協。
4、因此，需要發展一種更適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法。
技術實現思路
1、針對現有類腦芯片訓練方法的不足，本專利技術提供了一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法。本專利技術在訓練階段就考慮到憶阻器交叉陣列中的非理想電路因素，在通過結合硬件電路非理想特性和動態修剪策略減少部署過程中的
2、本專利技術的技術方法如下：
3、一、一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法
4、步驟一：構建神經形態憶阻器交叉陣列的等效電路；
5、步驟二：將訓練集中的每個樣本編碼成電壓向量并送入神經形態憶阻器交叉陣列的等效電路中，再通過電路仿真的方式獲得神經形態憶阻器交叉陣列輸出的電壓和電流信號；基于神經形態憶阻器交叉陣列輸出的電壓和電流信號進行損失函數的計算并完成梯度的反向傳播；
6、步驟三：梯度的反向傳播完成后，利用動態剪枝方法增加神經形態憶阻器交叉陣列中網絡權重稀疏性，進而更新網絡權值；
7、步驟四：基于更新的網絡權值，重復步驟二和步驟三，利用訓練集中的剩余樣本對神經形態憶阻器交叉陣列不斷訓練，直至損失函數收斂，完成神經網絡的訓練。
8、所述步驟一中，利用部分元等效電路方法構建神經形態憶阻器交叉陣列的等效電路，具體包括以下步驟：
9、首先，將神經形態憶阻器交叉陣列劃分為多個基本單元；接著，計算每個基本單元的等效電阻；然后，構建等效電感模型；最后，提取各個基本單元的等效電容，從而獲得神經形態憶阻器交叉陣列的等效電路。
10、所述通過電路仿真的方式獲得神經形態憶阻器交叉陣列輸出的電壓和電流信號，包括：
11、首先，計算神經形態憶阻器交叉陣列的穩態值輸出，然后聯合穩態值輸出和交叉陣列的動態時域仿真確定網絡輸出的穩態時刻；再由等效電路的連接矩陣a、電阻矩陣r的電路方程計算獲得神經形態憶阻器交叉陣列的電壓和電流對應的穩態輸出值，計算公式如下：
12、
13、其中，vs和is分別為求解的穩態節點電壓和支路電流，vr表示應用于神經形態憶阻器交叉陣列中的讀取電壓，xi表示輸入電壓向量，⊙表示哈達瑪積，t表示轉置；
14、最后，通過部分元等效電路方法對電路的時域波形進行仿真后獲得神經形態憶阻器交叉陣列的電壓和電流對應的瞬態輸出值，公式如下：
15、
16、其中，vn表示第n個時刻的節點電壓，in表示第n個時刻的支路電流，mu，ml和mp分別表示電路結構矩陣通過lu分解之后得到的上三角矩陣、下三角矩陣和置換矩陣。
17、所述基于神經形態憶阻器交叉陣列輸出的電壓和電流信號進行損失函數的計算并完成梯度的反向傳播，包括：
18、基于神經形態憶阻器交叉陣列輸出的電壓和電流信號，求解獲得神經形態憶阻器交叉陣列的真實響應sxbar和理想響應sideal；再利用以下公式計算獲得修正的網絡響應s：
19、s＝sideal+(sxbar-sideal)·(1-βepoch)
20、其中，β是調節因子，epoch是訓練的輪次。
21、所述利用動態剪枝方法增加神經形態憶阻器交叉陣列中網絡權重稀疏性，包括：
22、通過調整剪枝的比例的方式來控制神經形態憶阻器交叉陣列中的憶阻器高阻態比例，使得網絡權重稀疏性的增加，公式如下：
23、
24、其中，w(i,j)和wpruned(i,j)分別表示剪枝前的權重矩陣和經過剪枝后的權重矩陣中位置(i,j)處的權重值，tr表示修剪閾值，||表示取絕對值。
25、二、一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練裝置
26、等效電路生成單元，用于構建神經形態憶阻器交叉陣列的等效電路；
27、電路仿真單元，用于將訓練集中的每個樣本編碼成電壓向量并送入神經形態憶阻器交叉陣列的等效電路中，通過電路仿真的方式獲得神經形態憶阻器交叉陣列輸出的電壓和電流信號；
28、第一訓練單元，用于根據神經形態憶阻器交叉陣列輸出的電壓和電流信號進行損失函數的計算和梯度的反向傳播；
29、第二訓練單元，用于利用動態剪枝方法增加神經形態憶阻器交叉陣列中網絡權重稀疏性并更新網絡權值。
30、三、一種計算機設備
31、所述設備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執行所述計算機程序時實現所述一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法的步驟。
32、四、一種計算機可讀存儲介質
33、所述介質上存儲有計算機程序，所述計算機程序被處理器執行時實現所述一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法的步驟。
34、五、一種計算機程序產品
35、所述產品包括計算機程序/指令，該計算機程序/指令被處理器執行時實現所述一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法的步驟。
36、本專利技術通過部分元等效電路方法對交叉陣列建模，結合電路的理想響應和實際響應對網絡進行訓練，利用非結構動態剪枝方法抑制交叉陣列中潛行路徑，訓練結果可以導入憶阻型類腦芯片上實現和驗證。
37、與傳統類腦芯片訓練方法相比，本專利技術所提出的方法具有以下有益效果：
38、一、本專利技術的動態修剪方法通過適應性地調整憶阻器網絡的權重連接，優化了神經網絡的結構，降低了推理過程中的低阻態憶阻器的比例，從而降低網絡運行成本。
39、二、本專利技術通過在神經網絡訓練過程中整合憶阻型類腦芯片的非理想電路因素進行訓練優化，能夠顯著提高網絡在實際硬件部署時的穩定性和準確性。
本文檔來自技高網...【技術保護點】
1.一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法，其特征在于，包括：
2.根據權利要求1所述的一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法，其特征在于，所述步驟一中，利用部分元等效電路方法構建神經形態憶阻器交叉陣列的等效電路，具體包括以下步驟：
3.根據權利要求1所述的一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法，其特征在于，所述通過電路仿真的方式獲得神經形態憶阻器交叉陣列輸出的電壓和電流信號，包括：
4.根據權利要求1所述的一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法，其特征在于，所述基于神經形態憶阻器交叉陣列輸出的電壓和電流信號進行損失函數的計算并完成梯度的反向傳播，包括：
5.根據權利要求1所述的一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法，其特征在于，所述利用動態剪枝方法增加神經形態憶阻器交叉陣列中網絡權重稀疏性，包括：
6.一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練裝置，其特征在于，包括：
7.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在
8.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至5中任一項所述一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法的步驟。
9.一種計算機程序產品，包括計算機程序/指令，其特征在于，該計算機程序/指令被處理器執行時實現權利要求1至5中任一項所述一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法的步驟。
...【技術特征摘要】
1.一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法，其特征在于，包括：
2.根據權利要求1所述的一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法，其特征在于，所述步驟一中，利用部分元等效電路方法構建神經形態憶阻器交叉陣列的等效電路，具體包括以下步驟：
3.根據權利要求1所述的一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法，其特征在于，所述通過電路仿真的方式獲得神經形態憶阻器交叉陣列輸出的電壓和電流信號，包括：
4.根據權利要求1所述的一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法，其特征在于，所述基于神經形態憶阻器交叉陣列輸出的電壓和電流信號進行損失函數的計算并完成梯度的反向傳播，包括：
5.根據權利要求1所述的一種適用于憶阻型類腦芯片硬件部署的神經網絡訓練方法，其特征在于，所述...
【專利技術屬性】
技術研發人員：馬涵之，仇佳瑞，石燁，陳文超，李爾平，
申請(專利權)人：浙江大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。