【技術實現步驟摘要】
本專利技術涉及機器學習領域，具體地，涉及一種梯度信息的存儲方法、裝置、電子設備、存儲介質和計算機程序產品。
技術介紹
1、在訓練神經網絡模型時，出于安全因素的考慮，通常不會在云計算的環境中進行訓練。在神經網絡模型的體量較大時，對于顯存空間的存儲容量要求較高，尤其，在對神經網絡模型采用梯度下降算法優化時，在前向傳播過程中和在反向傳播過程中所處理的樣本量會比較大，且在前向傳播過程中神經網絡模型的每個計算節點的梯度信息均會被存儲，圖形處理器(gpu)容易出現顯存容量不足的問題。
技術實現思路
1、考慮到上述問題而提出了本專利技術。本專利技術實施例提供一種梯度信息的存儲方法、裝置、電子設備、存儲介質和計算機程序產品。這種方案可以根據顯存空間的存儲容量自適應地保留在訓練神經網絡模型過程中生成的梯度信息，有效減少在反向傳播節點對梯度信息進行重新計算的時間，模型的訓練效率較高。
2、根據本專利技術一個方面，提供了一種梯度信息的存儲方法，用于存儲神經網絡模型訓練過程中計算獲得的梯度信息，方法包括：獲取用于存儲神經網絡模型的梯度信息的目標顯存空間所對應的第一容量信息，第一容量信息用于表示目標顯存空間的存儲容量；獲取神經網絡模型的各組梯度信息各自對應的顯存大小信息，顯存大小信息用于表示梯度信息所占用的顯存大小，每組梯度信息與神經網絡模型的唯一計算節點對應；根據第一容量信息以及各組梯度信息各自對應的顯存大小信息，將神經網絡模型中待保留的梯度信息存儲在目標顯存空間中并將除待保留的梯度信息以外的
3、可選地，神經網絡模型包括多個計算節點；根據第一容量信息以及各組梯度信息各自對應的顯存大小信息，將神經網絡模型中待保留的梯度信息存儲在目標顯存空間中，并將除待保留的梯度信息以外的梯度信息刪除，包括：基于計算節點的預設排列順序，刪除神經網絡模型中的至少部分計算節點所對應的梯度信息，直至未刪除的梯度信息所占用的總顯存大小小于或等于目標顯存空間的存儲容量時，將未刪除的梯度信息作為神經網絡模型中的待保留的梯度信息存儲在目標顯存空間中。
4、可選地，各組梯度信息各自占用的顯存大小相等，神經網絡模型包括至少兩個節點集合，每個節點集合包括多個計算節點；根據第一容量信息以及各組梯度信息各自對應的顯存大小信息，將神經網絡模型中待保留的梯度信息存儲在目標顯存空間中，并將除待保留的梯度信息以外的梯度信息刪除，包括：根據第一容量信息以及各組梯度信息各自對應的顯存大小信息，確定第一目標組數，第一目標組數為目標顯存空間能夠容納的梯度信息的最大組數；根據第一目標組數確定至少兩個節點集合中每個節點集合所對應的第二目標組數，第二目標組數為節點集合所對應的待保留的梯度信息的組數，至少兩個節點集合所對應的第二目標組數之和等于第一目標組數；對于至少兩個節點集合中的每個節點集合，基于計算節點的預設排列順序，刪除該節點集合中的至少部分計算節點所對應的梯度信息，直至未刪除的梯度信息的組數等于該節點集合所對應的第二目標組數時，將未刪除的梯度信息作為該節點集合所對應的待保留的梯度信息存儲在目標顯存空間中。
5、可選地，各組梯度信息各自占用的顯存大小相等，神經網絡模型包括至少兩個節點集合，每個節點集合包括多個計算節點；根據第一容量信息以及各組梯度信息各自對應的顯存大小信息，將神經網絡模型中待保留的梯度信息存儲在目標顯存空間中，并將除待保留的梯度信息以外的梯度信息刪除，包括：根據第一容量信息以及各組梯度信息各自對應的顯存大小信息，確定第一目標組數，第一目標組數為目標顯存空間能夠容納的梯度信息的最大組數；基于計算節點的預設排列順序，刪除神經網絡模型中的至少部分計算節點所對應的梯度信息，直至未刪除的梯度信息的組數等于第一目標組數時，將未刪除的梯度信息作為神經網絡模型中的待保留的梯度信息存儲在目標顯存空間中。
6、可選地，目標顯存空間為預設顯存的至少部分存儲空間，獲取用于存儲神經網絡模型的梯度信息的目標顯存空間所對應的第一容量信息，包括：獲取預設顯存的第二容量信息和第三容量信息，第二容量信息用于表示預設顯存的總存儲容量，第三容量信息用于表示預設顯存中的固有占用容量；基于第二容量信息和第三容量信息，確定第一容量信息，其中，第一容量信息所表示的存儲容量等于總存儲容量與固有占用容量之差。
7、可選地，根據第一容量信息以及各組梯度信息各自對應的顯存大小信息，將神經網絡模型中待保留的梯度信息存儲在目標顯存空間中并將除待保留的梯度信息以外的梯度信息刪除，包括：根據第一容量信息以及各組梯度信息各自對應的顯存大小信息，確定神經網絡模型中待保留的梯度信息所對應的初始組數或初始顯存大小；輸出用于指示初始組數或初始顯存大小的梯度指示信息；響應于用戶基于梯度指示信息對初始組數或初始顯存大小的反饋操作，確定神經網絡模型中待保留的梯度信息所對應的目標組數或目標顯存大小；將符合目標組數或目標顯存大小的梯度信息作為待保留的梯度信息存儲在目標顯存空間中并將剩余梯度信息刪除。
8、可選地，響應于用戶基于梯度指示信息對初始組數或初始顯存大小的反饋操作，確定神經網絡模型中待保留的梯度信息所對應的目標組數或目標顯存大小，包括：在反饋操作為修改操作時，若用戶輸入的修改后的組數或修改后的顯存大小大于初始組數或初始顯存大小，輸出錯誤提示信息。
9、根據本專利技術另一方面，還提供了一種梯度信息的存儲裝置，包括：第一獲取模塊，用于獲取用于存儲所述神經網絡模型的梯度信息的目標顯存空間所對應的第一容量信息，所第一容量信息用于表示所述目標顯存空間的存儲容量；第二獲取模塊，用于獲取所述神經網絡模型的各組梯度信息各自對應的顯存大小信息，所述顯存大小信息用于表示梯度信息所占用的顯存大小，每組梯度信息與所述神經網絡模型的唯一計算節點對應；存儲模塊，用于根據所述第一容量信息以及所述各組梯度信息各自對應的顯存大小信息，將所述神經網絡模型中待保留的梯度信息存儲在所述目標顯存空間中并將除所述待保留的梯度信息以外的梯度信息刪除，其中，所述待保留的梯度信息所占用的顯存大小小于或等于所述目標顯存空間的存儲容量。
10、根據本專利技術再一方面，還提供了一種電子設備，包括：處理器和存儲器，其中，存儲器中存儲有計算機程序指令，計算機程序指令被處理器運行時用于執行上述的梯度信息的存儲方法。
11、根據本專利技術又一方面，還提供了一種存儲介質，在存儲介質上存儲了程序指令，程序指令在運行時用于執行上述的梯度信息的存儲方法。
12、根據本專利技術又一方面，還提供了一種計算機程序產品，包括計算機程序指令，計算機程序指令在運行時用于執行如上述的梯度信息的存儲方法。
13、上述技術方案通過根據用于存儲梯度信息的目標顯存空間的存儲容量以及各組梯度信息各自所占用的顯存大小自適應地存儲和刪除部分梯度信息，可以有效避免在訓練模型時顯存的存儲空間不足，并且，基于目標顯存空間的存儲容量存儲和刪除部分梯度信息，可以充本文檔來自技高網...
【技術保護點】
1.一種梯度信息的存儲方法，用于存儲神經網絡模型訓練過程中計算獲得的梯度信息，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述神經網絡模型包括多個計算節點；
3.根據權利要求1所述的方法，其特征在于，所述各組梯度信息各自占用的顯存大小相等，所述神經網絡模型包括至少兩個節點集合，每個節點集合包括多個計算節點；
4.根據權利要求1所述的方法，其特征在于，所述各組梯度信息各自占用的顯存大小相等，所述神經網絡模型包括至少兩個節點集合，每個節點集合包括多個計算節點；
5.根據權利要求1所述的方法，其特征在于，所述目標顯存空間為預設顯存的至少部分存儲空間，所述獲取用于存儲所述神經網絡模型的梯度信息的目標顯存空間所對應的第一容量信息，包括：
6.根據權利要求1-5任一項所述的方法，其特征在于，所述根據所述第一容量信息以及所述各組梯度信息各自對應的顯存大小信息，將所述神經網絡模型中待保留的梯度信息存儲在所述目標顯存空間中并將除所述待保留的梯度信息以外的梯度信息刪除，包括：
7.根據權利要求6所述的方法，其特
8.一種梯度信息的存儲裝置，用于存儲神經網絡模型訓練過程中計算獲得的梯度信息，其特征在于，包括：
9.一種電子設備，包括處理器和存儲器，其特征在于，所述存儲器中存儲有計算機程序指令，所述計算機程序指令被所述處理器運行時用于執行如權利要求1-7任一項所述的梯度信息的存儲方法。
10.一種存儲介質，在所述存儲介質上存儲了程序指令，其特征在于，所述程序指令在運行時用于執行如權利要求1-7任一項所述的梯度信息的存儲方法。
11.一種計算機程序產品，包括計算機程序指令，其特征在于，所述計算機程序指令在運行時用于執行如權利要求1-7任一項所述的梯度信息的存儲方法。
...【技術特征摘要】
1.一種梯度信息的存儲方法，用于存儲神經網絡模型訓練過程中計算獲得的梯度信息，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述神經網絡模型包括多個計算節點；
3.根據權利要求1所述的方法，其特征在于，所述各組梯度信息各自占用的顯存大小相等，所述神經網絡模型包括至少兩個節點集合，每個節點集合包括多個計算節點；
4.根據權利要求1所述的方法，其特征在于，所述各組梯度信息各自占用的顯存大小相等，所述神經網絡模型包括至少兩個節點集合，每個節點集合包括多個計算節點；
5.根據權利要求1所述的方法，其特征在于，所述目標顯存空間為預設顯存的至少部分存儲空間，所述獲取用于存儲所述神經網絡模型的梯度信息的目標顯存空間所對應的第一容量信息，包括：
6.根據權利要求1-5任一項所述的方法，其特征在于，所述根據所述第一容量信息以及所述各組梯度信息各自對應的顯存大小信息，將所述神經網絡模型中待保留的梯度信息存儲在所述目...
【專利技術屬性】
技術研發人員：錢龍，孫新，
申請(專利權)人：蘇州鎂伽科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。