本發明專利技術涉及人工智能技術領域，公開了一種Dropout掩膜生成器、設備、模型訓練系統及方法。該Dropout掩膜生成器包括：通過控制模塊接收人工智能處理器發送的目標概率，并根據目標概率生成閾值，并發送閾值到各比較模塊；通過各隨機數發生模塊生成隨機數，并發送隨機數到對應的比較模塊；通過各比較模塊將接收的隨機數與閾值進行數值比較，并根據數值比較結果生成Dropout掩膜元素。本實施例的方案，通過設置獨立的基于硬件電路的Dropout掩膜生成器，以執行Dropout掩膜元素的生成任務，可以提升Dropout?Mask的生成效率，同時可以減少對人工智能處理器的計算資源的占用，可以提升大模型訓練效率。
【技術實現步驟摘要】
本專利技術涉及人工智能，尤其涉及一種dropout掩膜生成器、設備、模型訓練系統及方法。
技術介紹
1、在當前的人工智能尤其是大模型訓練中，dropout掩膜被用來完成dropout計算，而dropout計算是大模型訓練的關鍵步驟，故dropout掩膜生成是重要的一步。
2、目前，現有的dropout掩膜生成方法，通常由人工智能處理器采用軟件算法，例如，伯努利分布算法等，實現dropout掩膜生成。但是，dropout掩膜生成的計算量與模型上下文長度強相關，在大模型訓練過程中，dropout掩膜生成會占用人工智能處理器寶貴的計算資源，從而影響模型訓練效率。
技術實現思路
1、本專利技術提供了一種dropout掩膜生成器、設備、模型訓練系統及方法，可以減少對人工智能處理器的計算資源的占用，可以提升大模型訓練效率。
2、根據本專利技術的一方面，提供了一種dropout掩膜生成器，包括控制模塊、多個隨機數發生模塊和多個比較模塊，所述隨機數發生模塊與所述比較模塊一一對應；
3、所述控制模塊與各所述比較模塊的輸入端連接，用于接收人工智能處理器發送的目標概率，并根據所述目標概率生成閾值，并發送所述閾值到各所述比較模塊；
4、各所述隨機數發生模塊與對應的比較模塊的輸入端連接，用于生成隨機數，并發送所述隨機數到對應的比較模塊；
5、各所述比較模塊，用于將接收的隨機數與閾值進行數值比較，并根據數值比較結果生成dropout掩膜元素。
6、可選的，所述控制模塊還與各所述隨機數發生模塊的輸入端連接，還用于轉發人工智能處理器發送的隨機數種子到各所述隨機數發生模塊；
7、各所述隨機數發生模塊，具體用于根據所述隨機數種子生成所述隨機數。
8、可選的，dropout掩膜生成器，還包括緩存模塊和組包模塊；
9、各所述比較模塊的輸出端與所述緩存模塊連接，還用于將生成的dropout掩膜元素發送到所述緩存模塊；
10、所述緩存模塊與所述組包模塊連接，用于對所述dropout掩膜元素進行存儲，并在接收到所述組包模塊的數據讀取指令時，發送所述數據讀取指令對應的dropout掩膜元素到所述組包模塊；
11、所述組包模塊與所述控制模塊連接，用于根據所述控制模塊發送的數據量，生成數據讀取指令發送到所述緩存模塊，以及基于預設通信協議，將所述緩存模塊發送的dropout掩膜元素封裝成數據包，并發送所述數據包到所述人工智能處理器，以使所述人工智能處理器基于所述數據包進行模型訓練；
12、所述控制模塊，還用于轉發所述人工智能處理器發送的數據量到所述組包模塊。
13、可選的，所述控制模塊具體用于：
14、獲取各所述隨機數發生模塊對應的隨機數位數，并獲取所述隨機數位數對應的最大表示數值；
15、根據所述最大表示數值以及所述目標概率生成所述閾值。
16、可選的，各所述比較模塊具體用于：
17、如果檢測到所述隨機數大于所述閾值，則將第一預設數值作為當前dropout掩膜元素；
18、以及如果檢測到所述隨機數小于或者等于所述閾值，則將第二預設數值作為當前dropout掩膜元素。
19、根據本專利技術的另一方面，提供了一種網絡設備，包括本專利技術任一實施例所述的dropout掩膜生成器。
20、根據本專利技術的另一方面，提供了一種模型訓練系統，包括人工智能處理器以及本專利技術任一實施例所述的網絡設備；
21、所述人工智能處理器，用于獲取隨機數種子、目標概率和數據量，并發送所述隨機數種子、所述目標概率和所述數據量到dropout掩膜生成器，以及基于所述dropout掩膜生成器發送的dropout掩膜元素對應的數據包進行模型訓練；
22、所述dropout掩膜生成器，用于根據所述隨機數種子和所述目標概率，生成dropout掩膜元素，并根據所述數據量生成所述dropout掩膜元素對應的數據包，并發送所述數據包到所述人工智能處理器。
23、根據本專利技術的另一方面，提供了一種模型訓練方法，應用于本專利技術任一實施例所述的模型訓練系統，包括：
24、通過人工智能處理器獲取隨機數種子、目標概率和數據量，并通過隨機數發生模塊根據所述隨機數種子生成隨機數；
25、通過控制模塊根據所述目標概率生成閾值，并通過比較模塊將所述隨機數與所述閾值進行數值比較，并根據數值比較結果生成dropout掩膜元素；
26、通過組包模塊根據所述數據量，生成所述dropout掩膜元素對應的數據包，并通過所述人工智能處理器基于所述數據包進行模型訓練。
27、根據本專利技術的另一方面，提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序用于使處理器執行時實現本專利技術任一實施例所述的模型訓練方法。
28、根據本專利技術的另一方面，提供了一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執行時實現本專利技術任一實施例所述的模型訓練方法。
29、本專利技術實施例的技術方案，通過控制模塊接收人工智能處理器發送的目標概率，并根據目標概率生成閾值，并發送閾值到各比較模塊；通過各隨機數發生模塊生成隨機數，并發送隨機數到對應的比較模塊；通過各比較模塊將接收的隨機數與閾值進行數值比較，并根據數值比較結果生成dropout掩膜元素；通過設置獨立的基于硬件電路的dropout掩膜(mask)生成器，以執行dropout掩膜元素的生成任務，可以提升dropout?mask的生成效率，同時可以減少對人工智能處理器的計算資源的占用，可以提升大模型訓練效率。
30、應當理解，本部分所描述的內容并非旨在標識本專利技術的實施例的關鍵或重要特征，也不用于限制本專利技術的范圍。本專利技術的其它特征將通過以下的說明書而變得容易理解。
本文檔來自技高網...
【技術保護點】
1.一種Dropout掩膜生成器，其特征在于，包括控制模塊、多個隨機數發生模塊和多個比較模塊，所述隨機數發生模塊與所述比較模塊一一對應；
2.根據權利要求1所述的Dropout掩膜生成器，其特征在于，所述控制模塊還與各所述隨機數發生模塊的輸入端連接，還用于轉發人工智能處理器發送的隨機數種子到各所述隨機數發生模塊；
3.根據權利要求1所述的Dropout掩膜生成器，其特征在于，還包括緩存模塊和組包模塊；
4.根據權利要求1所述的Dropout掩膜生成器，其特征在于，所述控制模塊具體用于：
5.根據權利要求1所述的Dropout掩膜生成器，其特征在于，各所述比較模塊具體用于：
6.一種網絡設備，其特征在于，包括如權利要求1-5中任一所述的Dropout掩膜生成器。
7.一種模型訓練系統，其特征在于，包括人工智能處理器以及如權利要求6所述的網絡設備；
8.一種模型訓練方法，其特征在于，應用于權利要求7所述的模型訓練系統，包括：
9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序用于使處理器執行時實現權利要求8所述的模型訓練方法。
10.一種計算機程序產品，其特征在于，包括計算機程序，所述計算機程序在被處理器執行時實現權利要求8所述的模型訓練方法。
...
【技術特征摘要】
1.一種dropout掩膜生成器，其特征在于，包括控制模塊、多個隨機數發生模塊和多個比較模塊，所述隨機數發生模塊與所述比較模塊一一對應；
2.根據權利要求1所述的dropout掩膜生成器，其特征在于，所述控制模塊還與各所述隨機數發生模塊的輸入端連接，還用于轉發人工智能處理器發送的隨機數種子到各所述隨機數發生模塊；
3.根據權利要求1所述的dropout掩膜生成器，其特征在于，還包括緩存模塊和組包模塊；
4.根據權利要求1所述的dropout掩膜生成器，其特征在于，所述控制模塊具體用于：
5.根據權利要求1所述的dropout掩膜生成器，其特征在于，各...
【專利技術屬性】
技術研發人員：王建國，王兵，胡僑娟，周永財，張亞林，
申請(專利權)人：上海燧原科技股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。