【技術(shù)實(shí)現(xiàn)步驟摘要】
至少一個(gè)實(shí)施例涉及用于減少神經(jīng)網(wǎng)絡(luò)中的依賴性的處理資源。例如，至少一個(gè)實(shí)施例涉及處理器，其使神經(jīng)網(wǎng)絡(luò)的兩個(gè)或更多個(gè)后續(xù)層通過使用來自先前層的輸出由分離的計(jì)算資源來執(zhí)行。
技術(shù)介紹
1、深度學(xué)習(xí)(dl)和其他機(jī)器學(xué)習(xí)模型的使用正在普遍增長(zhǎng)，用于訓(xùn)練它們的數(shù)據(jù)集的大小繼續(xù)增加，這反過來又導(dǎo)致了冗長(zhǎng)和更長(zhǎng)的訓(xùn)練時(shí)間。隨著機(jī)器學(xué)習(xí)變得越來越復(fù)雜，模型變得越來越大，用于訓(xùn)練這些模型的數(shù)據(jù)集包含更多信息，鑒于需要采用的設(shè)備數(shù)量也增加，因此開始影響訓(xùn)練時(shí)間。確保增加數(shù)量的設(shè)備之間的準(zhǔn)確性所必需的同步和通信開銷進(jìn)一步限制了總體訓(xùn)練時(shí)間。用于處理大型數(shù)據(jù)集的常規(guī)技術(shù)導(dǎo)致效率低下，這隨著數(shù)據(jù)集變得越來越大以及模型變得越來越復(fù)雜而變得更加明顯。
技術(shù)實(shí)現(xiàn)思路
【技術(shù)保護(hù)點(diǎn)】
1.一種處理器，包括：
2.根據(jù)權(quán)利要求1所述的處理器，還包括：
3.根據(jù)權(quán)利要求1所述的處理器，其中所述在前層的所述相同輸出將被提供給所述兩個(gè)或更多個(gè)后續(xù)層還包括：
4.根據(jù)權(quán)利要求3所述的處理器，其中所述兩個(gè)或更多個(gè)后續(xù)層都至少包括在所述第一后續(xù)層中的編碼器和在所述第二后續(xù)層中的解碼器。
5.根據(jù)權(quán)利要求4所述的處理器，其中所述輸出被提供給所述第一后續(xù)層中的所述編碼器，并且所述復(fù)制的輸出被提供給所述第二后續(xù)層中的所述解碼器。
6.根據(jù)權(quán)利要求5所述的處理器，其中所述第一后續(xù)層將由所述處理器執(zhí)行，并且所述第二后續(xù)層將由不同的處理器執(zhí)行。
7.根據(jù)權(quán)利要求1所述的處理器，還包括：
8.根據(jù)權(quán)利要求1所述的處理器，其中所述分離的計(jì)算資源包括：
9.一種系統(tǒng)，包括：
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述先前層包括在所述兩個(gè)或更多個(gè)后續(xù)層之前執(zhí)行的所述一個(gè)或更多個(gè)神經(jīng)網(wǎng)絡(luò)的層。
【技術(shù)特征摘要】
1.一種處理器，包括：
2.根據(jù)權(quán)利要求1所述的處理器，還包括：
3.根據(jù)權(quán)利要求1所述的處理器，其中所述在前層的所述相同輸出將被提供給所述兩個(gè)或更多個(gè)后續(xù)層還包括：
4.根據(jù)權(quán)利要求3所述的處理器，其中所述兩個(gè)或更多個(gè)后續(xù)層都至少包括在所述第一后續(xù)層中的編碼器和在所述第二后續(xù)層中的解碼器。
5.根據(jù)權(quán)利要求4所述的處理器，其中所述輸出被提供給所述第一后續(xù)層中的所述編碼器，并且所述復(fù)制的輸出被提供...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：徐大光，朱文濤，趙燦，徐子樂，H·R·羅斯，
申請(qǐng)(專利權(quán))人：輝達(dá)公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。