【技術(shù)實(shí)現(xiàn)步驟摘要】
【國外來華專利技術(shù)】
本專利技術(shù)涉及學(xué)習(xí)程序以及學(xué)習(xí)器。
技術(shù)介紹
1、神經(jīng)網(wǎng)絡(luò)是模擬大腦內(nèi)的神經(jīng)細(xì)胞的網(wǎng)絡(luò)的數(shù)學(xué)模型。正在研究使用神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)。
2、例如，在專利文獻(xiàn)1中記載有為了在邊緣設(shè)備上安裝神經(jīng)網(wǎng)絡(luò)而實(shí)現(xiàn)學(xué)習(xí)的高速化和計(jì)算負(fù)荷的降低的方法。
3、現(xiàn)有技術(shù)文獻(xiàn)
4、專利文獻(xiàn)
5、專利文獻(xiàn)1：國際公開第2020/261509號
6、非專利文獻(xiàn)
7、非專利文獻(xiàn)1：markus?nagel?et?al.,?a?white?paper?on?neural?networkquantization,?https://arxiv.org/pdf/2106.08295.pdf.
技術(shù)實(shí)現(xiàn)思路
1、（一）要解決的技術(shù)問題
2、在將神經(jīng)網(wǎng)絡(luò)安裝于邊緣設(shè)備的基礎(chǔ)上，要求高速的學(xué)習(xí)法。應(yīng)用了卡爾曼濾波的在線學(xué)習(xí)與現(xiàn)有的概率梯度法相比能夠高速地學(xué)習(xí)，另一方面，運(yùn)算量、存儲(chǔ)器的使用量變大。邊緣設(shè)備存在硬件上的限制。因此，要求降低運(yùn)算的負(fù)荷、存儲(chǔ)器的使用率。
3、一般而言，在將神經(jīng)網(wǎng)絡(luò)作為邊緣設(shè)備安裝時(shí)實(shí)施權(quán)重量化。然而，通常不是在學(xué)習(xí)時(shí)而是在推斷時(shí)實(shí)施量化。另外，雖然還提出了在學(xué)習(xí)時(shí)量化權(quán)重的量化識別學(xué)習(xí)（非專利文獻(xiàn)1），但現(xiàn)有方法大多只能應(yīng)用于識別任務(wù)（＝分類問題），能夠應(yīng)用于預(yù)測任務(wù)（＝回歸問題）的方法有限。另外，量化識別學(xué)習(xí)以離線執(zhí)行作為前提，至今還未提出能夠在線量化識別學(xué)習(xí)的方法。
4、本專利技術(shù)是鑒于上
5、（二）技術(shù)方案
6、（1）第一方式的學(xué)習(xí)程序是在神經(jīng)網(wǎng)絡(luò)或動(dòng)態(tài)系統(tǒng)中，使計(jì)算機(jī)進(jìn)行更新權(quán)重或狀態(tài)變量的推定值的運(yùn)算的學(xué)習(xí)程序。學(xué)習(xí)程序進(jìn)行第一運(yùn)算、第二運(yùn)算和第三運(yùn)算。第一運(yùn)算是根據(jù)更新前的權(quán)重使用集合卡爾曼濾波求出卡爾曼增益的運(yùn)算。第二運(yùn)算是把將使用了所述更新前的權(quán)重的推斷結(jié)果與教師信號的誤差和所述卡爾曼增益相乘后的結(jié)果加上更新前的權(quán)重，以第一位表示來推定更新后的權(quán)重的運(yùn)算。第三運(yùn)算是對由所述第一位表示表達(dá)的更新后的權(quán)重進(jìn)行位量化，并變更為第二位表示的運(yùn)算，所述第二位表示的字長以及小數(shù)部的長度比所述第一位表示的字長以及小數(shù)部的長度短。
7、（2）上述方式的學(xué)習(xí)程序也可以根據(jù)學(xué)習(xí)的進(jìn)度，改變所述第二位表示的字長或小數(shù)部的長度。
8、（3）上述方式的學(xué)習(xí)程序也可以根據(jù)學(xué)習(xí)的進(jìn)度，縮短所述第二位表示的字長或小數(shù)部的長度。
9、（4）上述方式的學(xué)習(xí)程序也可以在所述位量化時(shí)，進(jìn)行用近似值替換所述小數(shù)部的舍入處理。
10、（5）在上述方式的學(xué)習(xí)程序中，所述神經(jīng)網(wǎng)絡(luò)也可以是遞歸型神經(jīng)網(wǎng)絡(luò)或分層型前饋神經(jīng)網(wǎng)絡(luò)。
11、（6）上述方式的學(xué)習(xí)程序還可以進(jìn)行預(yù)運(yùn)算。預(yù)運(yùn)算是改變所述第二位表示的小數(shù)部的長度并進(jìn)行運(yùn)算，求出推斷結(jié)果與所述教師信號的誤差為一定值以下的所述第二位表示的小數(shù)部的長度的運(yùn)算。也可以使所述第三運(yùn)算中的所述第二位表示的小數(shù)部的長度比由所述預(yù)運(yùn)算求出的所述第二位表示的小數(shù)部的長度短。
12、（7）第二方式的學(xué)習(xí)器具備執(zhí)行上述方式的學(xué)習(xí)程序的計(jì)算機(jī)。
13、（8）上述方式的學(xué)習(xí)器也可以還具備：存儲(chǔ)器，其存儲(chǔ)由所述第一位表示所表示的權(quán)重以及由所述第二位表示所表示的權(quán)重；以及壓縮器，其對由所述第一位表示表達(dá)的更新后的權(quán)重進(jìn)行位量化。
14、（三）有益效果
15、上述方式的學(xué)習(xí)程序以及學(xué)習(xí)器能夠降低學(xué)習(xí)的計(jì)算負(fù)荷。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種學(xué)習(xí)程序，其在神經(jīng)網(wǎng)絡(luò)或動(dòng)態(tài)系統(tǒng)中進(jìn)行更新權(quán)重或狀態(tài)變量的推定值的運(yùn)算，其中，進(jìn)行如下運(yùn)算：
2.根據(jù)權(quán)利要求1所述的學(xué)習(xí)程序，其特征在于，
3.根據(jù)權(quán)利要求2所述的學(xué)習(xí)程序，其特征在于，
4.根據(jù)權(quán)利要求1~3中任一項(xiàng)所述的學(xué)習(xí)程序，其特征在于，
5.根據(jù)權(quán)利要求1~4中任一項(xiàng)所述的學(xué)習(xí)程序，其特征在于，
6.根據(jù)權(quán)利要求1~5中任一項(xiàng)所述的學(xué)習(xí)程序，其特征在于，
7.一種學(xué)習(xí)器，其具備執(zhí)行權(quán)利要求1~6中任一項(xiàng)所述的學(xué)習(xí)程序的運(yùn)算裝置。
8.根據(jù)權(quán)利要求7所述的學(xué)習(xí)器，其特征在于，還具備：
【技術(shù)特征摘要】
【國外來華專利技術(shù)】
1.一種學(xué)習(xí)程序，其在神經(jīng)網(wǎng)絡(luò)或動(dòng)態(tài)系統(tǒng)中進(jìn)行更新權(quán)重或狀態(tài)變量的推定值的運(yùn)算，其中，進(jìn)行如下運(yùn)算：
2.根據(jù)權(quán)利要求1所述的學(xué)習(xí)程序，其特征在于，
3.根據(jù)權(quán)利要求2所述的學(xué)習(xí)程序，其特征在于，
4.根據(jù)權(quán)利要求1~3中任一項(xiàng)所述的學(xué)習(xí)程序，其特征在于，
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：中田一紀(jì)，
申請(專利權(quán))人：TDK株式會(huì)社，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。