【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及神經(jīng)網(wǎng)絡，特別是一種結(jié)合前饋加速和反饋思考的神經(jīng)網(wǎng)絡系統(tǒng)、推理方法及存儲介質(zhì)。
技術(shù)介紹
1、在深度學習領域，神經(jīng)網(wǎng)絡因其強大的數(shù)據(jù)處理能力而受到廣泛關注。這些神經(jīng)網(wǎng)絡通常采用串行結(jié)構(gòu)設計，現(xiàn)有串行結(jié)構(gòu)的神經(jīng)網(wǎng)絡具有輸入出層、隱含層和輸出層（解碼層），通過輸入層以及多個隱含層逐步提取和轉(zhuǎn)換信息，最終通過輸出層（解碼層）輸出推理（預測）結(jié)果。
2、然而，現(xiàn)有串行結(jié)構(gòu)的神經(jīng)網(wǎng)絡存在一定的局限性，所有的輸入矩陣都會經(jīng)過完全固定的邏輯計算，對于簡單的輸入矩陣，神經(jīng)網(wǎng)絡可能會有比較好的‘理解’，使用前置部分隱含層，就能進行較為準確的信息轉(zhuǎn)換。而對于復雜的輸入矩陣，固定的計算流程可能無法充分地進行信息轉(zhuǎn)換，導致出現(xiàn)輸出的推理（預測）結(jié)果準確率較低的情況。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)提出了一種結(jié)合前饋加速和反饋思考的神經(jīng)網(wǎng)絡系統(tǒng)、推理方法及存儲介質(zhì)，以解決現(xiàn)有神經(jīng)網(wǎng)絡對簡單的輸入矩陣出現(xiàn)冗余計算問題，以及對復雜的輸入矩陣出現(xiàn)推理（預測）結(jié)果準確率較低的技術(shù)問題。
2、本專利技術(shù)的一個方面在于提供一種結(jié)合前饋加速和反饋思考的神經(jīng)網(wǎng)絡系統(tǒng)，所述神經(jīng)網(wǎng)絡系統(tǒng)至少包括：輸入層、隱含層和輸出層；
3、所述輸入層，用于輸入原始矩陣，并將原始矩陣處理為所述隱含層的輸入矩陣；
4、所述隱含層包括n層網(wǎng)絡層，用于將所述隱含層的輸入矩陣，經(jīng)n層所述網(wǎng)絡層依次向后傳遞，其中，n≥5；
5、其中，當輸入矩陣經(jīng)所述隱含層傳遞至第k層網(wǎng)絡層時，將第
6、計算第k層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值；
7、當?shù)趉層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值小于第一閾值t1時，則第k層網(wǎng)絡層的輸出矩陣跳轉(zhuǎn)至最后一層網(wǎng)絡層，作為最后一層網(wǎng)絡層的輸入矩陣，輸入最后一層網(wǎng)絡層；否則，第k層網(wǎng)絡層的輸出矩陣順序傳遞至下一層網(wǎng)絡層；
8、將最后一層網(wǎng)絡層的輸入矩陣壓縮轉(zhuǎn)換為最后一層網(wǎng)絡層的輸入轉(zhuǎn)換向量，將最后一層網(wǎng)絡層的輸出矩陣壓縮轉(zhuǎn)換為最后一層網(wǎng)絡層的輸出轉(zhuǎn)換向量；
9、計算最后一層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值；
10、當最后一層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值大于第二閾值t2時；
11、則觸發(fā)最后一層網(wǎng)絡層的輸出矩陣向前傳遞至第n-l層網(wǎng)絡層，之后繼續(xù)向后傳遞，重復上述過程，n＞l≥1；
12、所述輸出層，用于輸入最后一層網(wǎng)絡層的輸出矩陣，并將最后一層網(wǎng)絡層的輸出矩陣輸出為推理矩陣。
13、在一個較佳的實施例中，通過壓縮平均的方法，將第k層網(wǎng)絡層的輸入矩陣壓縮為第k層網(wǎng)絡層的輸入轉(zhuǎn)換向量，第k層網(wǎng)絡層的輸出矩陣壓縮為第k層網(wǎng)絡層的輸出轉(zhuǎn)換向量；
14、以及，將最后一層網(wǎng)絡層的輸入矩陣壓縮為最后一層網(wǎng)絡層的輸入轉(zhuǎn)換向量，將最后一層網(wǎng)絡層的輸出矩陣壓縮為最后一層網(wǎng)絡層的輸出轉(zhuǎn)換向量。
15、在一個較佳的實施例中，通過余弦相似算法，計算第k層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值；
16、以及，最后一層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值。
17、在一個較佳的實施例中，當最后一層網(wǎng)絡層的輸出矩陣向前傳遞至第n-l層網(wǎng)絡層的次數(shù)達到觸發(fā)上限時；
18、則不再計算最后一層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值。
19、本專利技術(shù)的另一個方面在于提供一種神經(jīng)網(wǎng)絡的推理方法，所述推理方法包括如下方法步驟：
20、s1、輸入層輸入輸入原始矩陣，并將原始矩陣處理為所述隱含層的輸入矩陣，傳遞至隱含層；
21、s2、所述隱含層將所述隱含層的輸入矩陣，經(jīng)所述隱含層的n層所述網(wǎng)絡層依次向后傳遞，其中，n≥5；
22、s21、當輸入矩陣經(jīng)所述隱含層傳遞至第k層網(wǎng)絡層時，將第k層網(wǎng)絡層的輸入矩陣壓縮為第k層網(wǎng)絡層的輸入轉(zhuǎn)換向量，第k層網(wǎng)絡層的輸出矩陣壓縮為第k層網(wǎng)絡層的輸出轉(zhuǎn)換向量，n-2≥k＞2；
23、s22、計算第k層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值；
24、當?shù)趉層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值小于第一閾值t1時，則第k層網(wǎng)絡層的輸出矩陣跳轉(zhuǎn)至最后一層網(wǎng)絡層，作為最后一層網(wǎng)絡層的輸入矩陣，輸入最后一層網(wǎng)絡層；否則，第k層網(wǎng)絡層的輸出矩陣順序傳遞至下一層網(wǎng)絡層；
25、s23、將最后一層網(wǎng)絡層的輸入矩陣壓縮為最后一層網(wǎng)絡層的輸入轉(zhuǎn)換向量，將最后一層網(wǎng)絡層的輸出矩陣壓縮為最后一層網(wǎng)絡層的輸出轉(zhuǎn)換向量；
26、s24、計算最后一層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值；
27、當最后一層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值大于第二閾值t2時；
28、則觸發(fā)最后一層網(wǎng)絡層的輸出矩陣向前傳遞至第n-l層網(wǎng)絡層，之后繼續(xù)向后傳遞，重復步驟s21至步驟s24，n＞l≥1；
29、s3、最后一層網(wǎng)絡層的輸出矩陣輸入輸出層，并將最后一層網(wǎng)絡層的輸出矩陣輸出為推理矩陣。
30、在一個較佳的實施例中，在步驟s21中，通過壓縮平均的方法，將第k層網(wǎng)絡層的輸入矩陣壓縮為第k層網(wǎng)絡層的輸入轉(zhuǎn)換向量，第k層網(wǎng)絡層的輸出矩陣壓縮為第k層網(wǎng)絡層的輸出轉(zhuǎn)換向量；
31、在步驟s23中，通過壓縮平均的方法，將最后一層網(wǎng)絡層的輸入矩陣壓縮為最后一層網(wǎng)絡層的輸入轉(zhuǎn)換向量，將最后一層網(wǎng)絡層的輸出矩陣壓縮為最后一層網(wǎng)絡層的輸出轉(zhuǎn)換向量。
32、在一個較佳的實施例中，在步驟s22中，
33、通過余弦相似算法，計算第k層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值；
34、在步驟s24中，通過余弦相似算法，計算最后一層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值。
35、在一個較佳的實施例中，當最后一層網(wǎng)絡層的輸出矩陣向前傳遞至第n-l層網(wǎng)絡層的次數(shù)達到觸發(fā)上限時；
36、則不再計算最后一層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值。
37、本專利技術(shù)的又一個方面在于提供一種計算機存儲介質(zhì)，所述計算機存儲介質(zhì)用于存儲計算機執(zhí)行指令；所述計算機執(zhí)行指令，用于執(zhí)行本專利技術(shù)提供的一種神經(jīng)網(wǎng)絡的推理方法。
38、與現(xiàn)有技術(shù)相比，本專利技術(shù)具有以下有益效果：
39、本專利技術(shù)提出的一種結(jié)合前饋加速和反饋思考的神經(jīng)網(wǎng)絡系統(tǒng)、推理方法及存儲介質(zhì)，輸入矩陣輸入隱含層，經(jīng)隱含層的n層網(wǎng)絡層依次向后傳遞的過程中，通過計算第k層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值是否小于第一閾值，實現(xiàn)第k層網(wǎng)絡層的輸出矩陣跳轉(zhuǎn)至最后一層網(wǎng)絡層，前饋加速向后傳遞，省略掉中間的多個網(wǎng)絡層計算過程，節(jié)省計算時間，解決現(xiàn)有神經(jīng)網(wǎng)絡對簡單的輸入出現(xiàn)冗余計算問題。通本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.結(jié)合前饋加速和反饋思考的神經(jīng)網(wǎng)絡系統(tǒng)，其特征在于，所述神經(jīng)網(wǎng)絡系統(tǒng)包括：輸入層、隱含層和輸出層；
2.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡系統(tǒng)，其特征在于，通過壓縮平均的方法，將第k層網(wǎng)絡層的輸入矩陣壓縮為第k層網(wǎng)絡層的輸入轉(zhuǎn)換向量，第k層網(wǎng)絡層的輸出矩陣壓縮為第k層網(wǎng)絡層的輸出轉(zhuǎn)換向量；
3.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡系統(tǒng)，其特征在于，通過余弦相似算法，計算第k層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值；
4.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡系統(tǒng)，其特征在于，當最后一層網(wǎng)絡層的輸出矩陣向前傳遞至第N-L層網(wǎng)絡層的次數(shù)達到觸發(fā)上限時；
5.一種神經(jīng)網(wǎng)絡的推理方法，其特征在于，所述推理方法包括如下方法步驟：
6.根據(jù)權(quán)利要求5所述的推理方法，其特征在于，在步驟S21中，通過壓縮平均的方法，將第k層網(wǎng)絡層的輸入矩陣壓縮為第k層網(wǎng)絡層的輸入轉(zhuǎn)換向量，第k層網(wǎng)絡層的輸出矩陣壓縮為第k層網(wǎng)絡層的輸出轉(zhuǎn)換向量；
7.根據(jù)權(quán)利要求5所述的推理方法，其特征在于，在步驟S22中，
8.根據(jù)權(quán)利要求5所述的推理方法，
9.一種計算機存儲介質(zhì)，其特征在于，所述計算機存儲介質(zhì)用于存儲計算機執(zhí)行指令；所述計算機執(zhí)行指令，用于執(zhí)行權(quán)利要求6至8中任一權(quán)利要求所述的推理方法。
...【技術(shù)特征摘要】
1.結(jié)合前饋加速和反饋思考的神經(jīng)網(wǎng)絡系統(tǒng)，其特征在于，所述神經(jīng)網(wǎng)絡系統(tǒng)包括：輸入層、隱含層和輸出層；
2.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡系統(tǒng)，其特征在于，通過壓縮平均的方法，將第k層網(wǎng)絡層的輸入矩陣壓縮為第k層網(wǎng)絡層的輸入轉(zhuǎn)換向量，第k層網(wǎng)絡層的輸出矩陣壓縮為第k層網(wǎng)絡層的輸出轉(zhuǎn)換向量；
3.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡系統(tǒng)，其特征在于，通過余弦相似算法，計算第k層網(wǎng)絡層的輸入轉(zhuǎn)換向量與輸出轉(zhuǎn)換向量之間的差異值；
4.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡系統(tǒng)，其特征在于，當最后一層網(wǎng)絡層的輸出矩陣向前傳遞至第n-l層網(wǎng)絡層的次數(shù)達到觸發(fā)上限時；
5.一種神經(jīng)網(wǎng)絡的推理方法，其特...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李多海，
申請(專利權(quán))人：上海巖芯數(shù)智人工智能科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。