【技術實現步驟摘要】
本揭露涉及一種使用可復寫式非易失性存儲器模塊的機器學習模型的訓練方法以及主機系統。
技術介紹
1、隨著人工智能技術的快速發展，深度學習模型的應用越來越廣泛，尤其是在自然語言處理、圖像識別和語音識別等領域。然而，訓練這些復雜的模型需要大量的數據，導致訓練過程變得非常耗時。一般而言，深度學習模型的訓練過程會分成多個時期(epoch)，每個時期代表完整地遍歷一遍訓練數據集。在訓練過程中，為了減少意外中斷對訓練進度的影響，通常會在每個時期結束后設置一個紀錄點(checkpoint)。若系統發生中斷或故障，模型可以從最后一個紀錄點恢復，重新執行當前時期，避免從頭開始訓練。
2、然而，隨著數據集規模的增加，每個時期所需的時間也顯著增加，即使有紀錄點機制，在系統中斷后回溯至紀錄點并重新執行時期，仍會浪費大量的時間和計算資源。此問題在大型數據集的訓練中尤為顯著，尤其當模型必須多次進行迭代才能達到理想的精度時，效率損耗更加明顯。
技術實現思路
1、本專利技術提出一種機器學習模型的訓練方法，適用于主機系統，此主機系統包含可復寫式非易失性存儲器模塊。訓練方法包含：執行機器學習模型的訓練程序，其中在訓練程序的一時期的一迭代，將迭代產生的暫態數據以及回溯數據存儲在可復寫式非易失性存儲器模塊；若主機系統發生異常使得迭代中斷，從可復寫式非易失性存儲器模塊中讀取暫態數據以及回溯數據，根據回溯數據決定迭代的階段，并根據暫態數據執行此階段。
2、在本專利技術的一實施例中，上述的迭代包含前向傳播
3、在本專利技術的一實施例中，根據回溯數據決定迭代的階段，并根據暫態數據執行階段的步驟包括：根據回溯數據設定階段為反向傳播；以及從可復寫式非易失性存儲器模塊讀取神經元的輸出與多個權重，并根據啟動函數的輸入以及權重來重新執行反向傳播。
4、在本專利技術的一實施例中，將迭代產生的暫態數據以及回溯數據存儲在可復寫式非易失性存儲器模塊的步驟包括：當反向傳播執行完畢，設定暫態數據包含梯度，設定回溯數據指示反向傳播已經執行完畢，并將梯度以及回溯數據寫入至可復寫式非易失性存儲器模塊。
5、在本專利技術的一實施例中，根據回溯數據決定迭代的階段，并根據暫態數據執行階段的步驟包括：根據回溯數據設定階段為更新階段；以及從可復寫式非易失性存儲器模塊讀取梯度與多個權重，并根據梯度以及權重來重新執行更新階段。
6、在本專利技術的一實施例中，上述的機器學習模型包含多個層，將迭代產生的暫態數據以及回溯數據存儲在可復寫式非易失性存儲器模塊的步驟還包括：在更新階段更新第一層以后，設定暫態數據還包含第一層的多個更新權重，設定回溯數據指示第一層已經更新完畢，并將更新后權重以及回溯數據寫入至可復寫式非易失性存儲器模塊。
7、在本專利技術的一實施例中，根據回溯數據決定迭代的階段，并根據暫態數據執行階段的步驟包括：根據回溯數據設定上述階段為第二層，其中第二層不同于第一層；以及從可復寫式非易失性存儲器模塊讀取梯度與第二層的多個權重，并根據梯度更新第二層的權重。
8、在本專利技術的一實施例中，將迭代產生的暫態數據以及回溯數據存儲在可復寫式非易失性存儲器模塊的步驟包括：當更新階段執行完畢，設定暫態數據包含多個更新后權重以及更新后最佳化參數，設定回溯數據指示反向傳播已經執行完畢，并將更新后權重、更新后最佳化參數以及回溯數據寫入至可復寫式非易失性存儲器模塊。
9、在本專利技術的一實施例中，上述的訓練方法還包括：若后續迭代的前向傳播中斷，從可復寫式非易失性存儲器模塊讀取更新后權重以及更新后最佳化參數；以及根據更新后權重以及更新后最佳化參數重新執行后續迭代，其中后續迭代執行在迭代之后。
10、以另一個角度來說，本專利技術的實施例提出一種主機系統，包含可復寫式非易失性存儲器模塊以及處理器。其中處理器電性連接至可復寫式非易失性存儲器模塊，用以執行多個步驟：執行機器學習模型的訓練程序，其中在訓練程序的一時期的一迭代，將迭代產生的暫態數據以及回溯數據存儲在可復寫式非易失性存儲器模塊；以及若主機系統發生異常使得迭代中斷，從可復寫式非易失性存儲器模塊中讀取暫態數據以及回溯數據，根據回溯數據決定迭代的一階段，并根據暫態數據執行階段。
11、為讓本專利技術的上述特征和優點能更明顯易懂，下文特舉實施例，并配合附圖作詳細說明如下。
本文檔來自技高網...【技術保護點】
1.一種機器學習模型的訓練方法，其特征在于，適用于主機系統，所述主機系統包含可復寫式非易失性存儲器模塊，所述訓練方法包含：
2.根據權利要求1所述的訓練方法，其特征在于，所述迭代包含前向傳播、反向傳播、以及更新階段，其中將所述迭代產生的所述暫態數據以及所述回溯數據存儲在所述可復寫式非易失性存儲器模塊的步驟包括：
3.根據權利要求2所述的訓練方法，其特征在于，根據所述回溯數據決定所述迭代的所述階段，并根據所述暫態數據執行所述階段的步驟包括：
4.根據權利要求1所述的訓練方法，其特征在于，所述迭代包含前向傳播、反向傳播、以及更新階段，將所述迭代產生的所述暫態數據以及所述回溯數據存儲在所述可復寫式非易失性存儲器模塊的步驟包括：
5.根據權利要求4所述的訓練方法，其特征在于，根據所述回溯數據決定所述迭代的所述階段，并根據所述暫態數據執行所述階段的步驟包括：
6.根據權利要求4所述的訓練方法，其特征在于，所述機器學習模型包含多個層，將所述迭代產生的所述暫態數據以及所述回溯數據存儲在所述可復寫式非易失性存儲器模塊的步驟還包括：>
7.根據權利要求6所述的訓練方法，其特征在于，根據所述回溯數據決定所述迭代的所述階段，并根據所述暫態數據執行所述階段的步驟包括：
8.根據權利要求1所述的訓練方法，其特征在于，所述迭代包含前向傳播、反向傳播、以及更新階段，將所述迭代產生的所述暫態數據以及所述回溯數據存儲在所述可復寫式非易失性存儲器模塊的步驟包括：
9.根據權利要求8所述的訓練方法，其特征在于，還包括：
10.一種主機系統，其特征在于，包含：
11.根據權利要求10所述的主機系統，其特征在于，所述迭代包含前向傳播、反向傳播、以及更新階段，其中將所述迭代產生的所述暫態數據以及所述回溯數據存儲在所述可復寫式非易失性存儲器模塊的步驟包括：
12.根據權利要求11所述的主機系統，其特征在于，根據所述回溯數據決定所述迭代的所述階段，并根據所述暫態數據執行所述階段的步驟包括：
13.根據權利要求10所述的主機系統，其特征在于，所述迭代包含前向傳播、反向傳播、以及更新階段，將所述迭代產生的所述暫態數據以及所述回溯數據存儲在所述可復寫式非易失性存儲器模塊的步驟包括：
14.根據權利要求13所述的主機系統，其特征在于，根據所述回溯數據決定所述迭代的所述階段，并根據所述暫態數據執行所述階段的步驟包括：
15.根據權利要求13所述的主機系統，其特征在于，所述機器學習模型包含多個層，將所述迭代產生的所述暫態數據以及所述回溯數據存儲在所述可復寫式非易失性存儲器模塊的步驟還包括：
16.根據權利要求15所述的主機系統，其特征在于，根據所述回溯數據決定所述迭代的所述階段，并根據所述暫態數據執行所述階段的步驟包括：
17.根據權利要求10所述的主機系統，其特征在于，所述迭代包含前向傳播、反向傳播、以及更新階段，將所述迭代產生的所述暫態數據以及所述回溯數據存儲在所述可復寫式非易失性存儲器模塊的步驟包括：
18.根據權利要求17所述的主機系統，其特征在于，所述多個步驟還包括：
...【技術特征摘要】
1.一種機器學習模型的訓練方法，其特征在于，適用于主機系統，所述主機系統包含可復寫式非易失性存儲器模塊，所述訓練方法包含：
2.根據權利要求1所述的訓練方法，其特征在于，所述迭代包含前向傳播、反向傳播、以及更新階段，其中將所述迭代產生的所述暫態數據以及所述回溯數據存儲在所述可復寫式非易失性存儲器模塊的步驟包括：
3.根據權利要求2所述的訓練方法，其特征在于，根據所述回溯數據決定所述迭代的所述階段，并根據所述暫態數據執行所述階段的步驟包括：
4.根據權利要求1所述的訓練方法，其特征在于，所述迭代包含前向傳播、反向傳播、以及更新階段，將所述迭代產生的所述暫態數據以及所述回溯數據存儲在所述可復寫式非易失性存儲器模塊的步驟包括：
5.根據權利要求4所述的訓練方法，其特征在于，根據所述回溯數據決定所述迭代的所述階段，并根據所述暫態數據執行所述階段的步驟包括：
6.根據權利要求4所述的訓練方法，其特征在于，所述機器學習模型包含多個層，將所述迭代產生的所述暫態數據以及所述回溯數據存儲在所述可復寫式非易失性存儲器模塊的步驟還包括：
7.根據權利要求6所述的訓練方法，其特征在于，根據所述回溯數據決定所述迭代的所述階段，并根據所述暫態數據執行所述階段的步驟包括：
8.根據權利要求1所述的訓練方法，其特征在于，所述迭代包含前向傳播、反向傳播、以及更新階段，將所述迭代產生的所述暫態數據以及所述回溯數據存儲在所述可復寫式非易失性存儲器模塊的步驟包括：
9.根據權利要求8所述的訓練方法，其特征在...
【專利技術屬性】
技術研發人員：王鈺豪，陳思瑋，許建平，李皓智，劉安城，
申請(專利權)人：廈門佳芯電子有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。