【技術實現步驟摘要】
【國外來華專利技術】
所公開的實現總體上涉及神經網絡，并且更具體地涉及用于使用神經形態(neuromorphic)模擬信號處理器進行機器的預測性維護(predictive?maintenance)的系統和方法。
技術介紹
0、背景
1、傳統硬件未能跟上神經網絡中的創新和基于機器學習的應用的日益普及。由于數字微處理器的發展處于停滯，神經網絡的復雜性繼續超過cpu和gpu的計算能力?；诿}沖神經網絡(spike?neural?network)的神經形態處理器(例如loihi和true?north)在它們的應用中受到限制。對于類似gpu的架構，這樣的架構的功率和速度受數據傳輸速度限制。數據傳輸可以消耗高達80％的芯片功率，且可以顯著影響計算的速度。邊緣應用(edgeapplication)要求低功率消耗，但目前沒有消耗小于50毫瓦的功率的已知高性能硬件實現。
2、使用交叉開關(cross-bar)技術的基于憶阻器的架構對于制造循環(recurrent)和前饋(feed-forward)神經網絡仍然是不實用的。例如，基于憶阻器的交叉開關具有許多缺點，包括在操作期間的電流泄漏和高時延，這使它們變得不實用。此外，在制造基于憶阻器的交叉開關時存在可靠性問題，特別是當神經網絡具有負權重和正權重時。對于具有許多神經元的大型神經網絡，在高維度，基于憶阻器的交叉開關不能用于不同信號的同時傳播，這在神經元由運算放大器表示時又使信號的求和變得復雜。此外，基于憶阻器的模擬集成電路具有許多限制，例如電阻狀態的數量少、當形成憶阻器時的第一次循環問題、當訓練憶
3、此外，神經網絡所需的訓練過程對神經網絡的硬件實現提出了獨特的挑戰。訓練后的神經網絡用于特定的推斷(inferencing)任務，例如分類。一旦神經網絡被訓練，硬件等價物就被制造。當神經網絡被再訓練時，硬件制造過程被重復，抬高了成本。雖然存在一些可重新配置的硬件解決方案，但是這樣的硬件不容易被大規模生產，并且比不可重新配置的硬件花費多得多(例如，五倍的花費)。此外，邊緣環境(例如智能家居應用)本身不需要可重編程性。例如，神經網絡的所有應用的85％在操作期間不需要任何再訓練，因此片上學習不是那么有用。此外，邊緣應用包括噪聲環境，其可以使可重編程硬件變得不可靠。
4、一個這樣的應用是機器的預測性維護。振動傳感器通常用于測量機械、軌道、鐵路車輛、風力渦輪機以及油泵和氣泵中的振動。監測機器的旋轉或往復運動部件的傳感器通常產生0至20khz范圍內的信號。這使得傳感器消耗大量電力，幾乎不可能使用電池。由于振動而產生的信號可以無線地傳輸到用于分析的設備。到控制單元的寬帶連接通常是必要的，因為信號可以包括大量的數據流。該數據流可能會縮短正在運行的傳感器節點的電池壽命。
技術實現思路
0、概述
1、因此，存在對解決至少一些上面指出的缺陷的方法、電路和/或接口的需要。對訓練后的神經網絡建模并根據本文所述的技術制造的模擬電路可以提供提高的每瓦性能的優點，在邊緣環境中實現硬件解決方案方面可以是有用的，并可以處理各種應用，例如無人機導航和自動駕駛汽車。由所提出的制造方法和/或模擬網絡架構提供的成本優點對較大的神經網絡更加明顯。此外，神經網絡的模擬硬件實現提供了提高的并行性和神經形態。此外，神經形態模擬部件當與數字對應物相比時對噪聲和溫度變化不敏感。
2、根據本文描述的技術制造的芯片在尺寸、功率和性能方面提供優于傳統系統的數量級改進，并且對于邊緣環境(包括對于再訓練目的)是理想的。這樣的模擬神經形態芯片可以用于實現邊緣計算應用或用在物聯網(iot)環境中。由于模擬硬件，可以消耗超過80％-90％的功率的初步處理(例如，用于圖像識別的描述符的形成)可以移動到芯片上，從而降低能量消耗和網絡負載，這可以開拓新的應用市場。
3、各種邊緣應用可以受益于這樣的模擬硬件的使用。例如，對于視頻處理，本文描述的技術可以用于包括到cmos傳感器的直接連接而無需數字接口。各種其他視頻處理應用包括用于汽車的路標識別、用于機器人的基于攝像機的真實深度和/或同步定位和地圖構建、沒有服務器連接的房間訪問控制以及對安全和醫療保健的始終在線解決方案。這樣的芯片可以用于雷達和激光雷達的數據處理以及用于低層級數據融合。這樣的技術可以用于實現大型電池組的電池管理功能、沒有到數據中心的連接的聲音/語音處理、在移動設備上的語音識別、iot傳感器的喚醒語音指令、將一種語言翻譯成另一種語言的翻譯器、具有低信號強度的iot的大型傳感器陣列和/或具有數百個傳感器的可配置過程控制。特別地，這種技術可以用于實現人類活動識別。用模擬神經網絡實現替代常規軟件算法可以幫助從設備微控制器卸載計算，使得設備的總功率消耗顯著降低(例如，功率消耗降低超過40％)。此外，本文描述的技術可以用于區分大量人類活動，并且這種技術可以用于開發針對不同用戶或用戶類別的個性化解決方案。例如，人類活動的神經網絡確定或生成描述符允許識別超過五十種不同的人類活動。神經網絡允許活動的個性化，并且可以針對特定用戶生成描述符作為唯一數字指紋。
4、根據一些實現，神經形態模擬芯片可以在標準的基于軟件的神經網絡仿真/訓練之后被大規模生產?？蛻舳说纳窠浘W絡可以用定制的芯片設計和生產被容易移植，而不管神經網絡的結構如何。此外，根據一些實現，提供了準備好制作片上解決方案(網絡仿真器)的庫。這樣的解決方案只需要訓練一次光刻掩模更換，其后芯片可以被大規模生產。例如，在芯片生產期間，只有部分的光刻掩模需要被更換。
5、本文描述的技術可以用于設計和/或制造在數學上等效于訓練后的神經網絡(前饋或者循環神經網絡)的模擬神經形態集成電路。根據一些實現，該過程以訓練后的神經網絡開始，該神經網絡首先被轉換成由標準元件組成的經變換的網絡。使用具有代表標準元件的已知模型的軟件來仿真經變換的網絡的操作。軟件仿真用于確定在經變換的網絡中的每個電阻器的單獨電阻值?；谠诮涀儞Q的網絡中的標準元件的排列來布置光刻掩模。使用與標準元件對應的電路的現有庫來將每個標準元件布置在掩模中以簡化和加快該過程。在一些實現中，電阻器布置在與包括經變換的網絡中的其他元件(例如運算放大器)的掩模分離的一個或更多個掩模中。以這種方式，如果神經網絡被再訓練，則只有包含表示在再訓練后的神經網絡中的新權重的電阻器或其他類型的固定電阻元件的掩模需要被重新生成，這簡化并加快了該過程。光刻掩模然后被發送到晶圓廠(fab)用于制造模擬神經形態集成電路。
6、在一個方面，根據一些實現，提供了一種用于神經網絡的硬件實現的方法。該方法包括獲得訓練后的神經網絡的神經網絡拓撲和權重。該方法還包括將神經網絡拓撲變換成模擬部件的等效模擬網絡。該方法還包括基于訓練后的神經網絡的權重來計算等效模擬網絡的權重矩陣。權重矩陣的每個元素表示在等效模擬網絡的模擬部件之間的相應連接。該方法還包括基于權重矩陣來生成用于實本文檔來自技高網...
【技術保護點】
1.一種系統，包括：
2.根據權利要求1所述的系統，其中，所述數字電路包括選自由以下項組成的組的一個或更多個數字計算單元：CPU、GPU、RISC、FPGA和ASIC。
3.根據權利要求1所述的系統，其中，所述數字電路包括被配置為執行數據分類的處理器。
4.根據權利要求3所述的系統，其中，所述數據分類由不同于所述訓練后的神經網絡的神經網絡執行。
5.根據權利要求3所述的系統，其中，使用k最近鄰(k-NN)來執行所述數據分類。
6.根據權利要求1所述的系統，其中，所述模擬電路的所述輸出表示嵌入，并且所述數字電路被配置為使用所述嵌入來對所述模擬信號進行分類。
7.一種硬件裝置，包括：
8.根據權利要求7所述的硬件裝置，還包括：
9.根據權利要求7所述的硬件裝置，其中，所述振動傳感器鄰近機器的可移動部件設置，并且所述振動傳感器被配置為收集所述可移動部件的振動數據。
10.根據權利要求9所述的硬件裝置，其中，所述可移動部件包括所述機器的滾珠支承件。
11.根據權利要求7
12.根據權利要求7所述的硬件裝置，其中，所述振動傳感器設置在輪胎中或輪胎上，并且被配置為收集所述輪胎的振動數據。
13.根據權利要求7所述的硬件裝置，其中，所述輸出表示用于預測以下項中的至少一個的嵌入：路面、物理狀況、輪胎狀況、懸掛系統狀況或所述振動源的故障時間。
14.根據權利要求7所述的硬件裝置，其中，所述振動傳感器被配置為對0至20千赫茲(kHz)的范圍內的信號進行采樣。
15.根據權利要求7所述的硬件裝置，其中，所述振動傳感器被配置為對高達41kHz的信號進行采樣。
16.根據權利要求7所述的硬件裝置，其中，所述振動傳感器被配置為對低于奈奎斯特采樣率的信號進行采樣以用于在壓縮域中進行故障檢測和分類。
17.根據權利要求7所述的硬件裝置，其中，所述振動傳感器被配置為對用于壓縮感測(CS)的信號進行采樣，以用于旋轉機器中的滾動元件支承件的狀況分類。
18.根據權利要求7所述的硬件裝置，其中，所述訓練后的神經網絡包括多個神經元層，所述多個神經元層包括第一組層和第二組層，并且所述模擬電路被配置為實現所述第一組層。
19.根據權利要求18所述的硬件裝置，其中，所述第二組層由所述訓練后的神經網絡的最后一層組成。
20.根據權利要求7所述的硬件裝置，其中，所述訓練后的神經網絡包括用于基于稀疏自動編碼器的無監督學習的深度神經網絡。
21.根據權利要求7所述的硬件裝置，其中，所述訓練后的神經網絡包括具有全局平均池化(GAP)的ResNet卷積神經網絡(CNN)，用于滾動支承件的特征學習和故障診斷。
22.根據權利要求7所述的硬件裝置，其中，所述振動傳感器被配置為采樣并輸出滾動支承件故障信號的一維時域信號。
23.根據權利要求7所述的硬件裝置，其中，所述訓練后的神經網絡包括堆疊的降噪自動編碼器。
24.根據權利要求7所述的硬件裝置，其中，所述模擬電路被配置為由所述振動源的振動供電。
25.根據權利要求24所述的硬件裝置，還包括功率收集電路，所述功率收集電路被配置為從所述振動源的振動收集功率并向所述模擬電路供應功率。
26.根據權利要求7所述的硬件裝置，其中，所述多個運算放大器被配置為實現所述訓練后的神經網絡的一部分的神經元，并且其中所述多個電阻器被配置為實現所述訓練后的神經網絡的一部分的神經元之間的連接。
27.根據權利要求7所述的硬件裝置，其中，所述模擬電路被配置為實現與所述訓練后的神經網絡相對應的優化的神經網絡。
28.根據權利要求7所述的硬件裝置，其中，所述多個電阻器的值基于所述訓練后的神經網絡的連接的權重。
29.根據權利要求7所述的硬件裝置，其中，所述多個電阻器被配置為連接所述多個運算放大器。
30.根據權利要求7所述的硬件裝置，其中，所述模擬電路包括后道工藝(BEOL)中的電阻器。
31.根據權利要求7所述的硬件裝置，其中：
32.根據權利要求7所述的硬件裝置，其中，所述模擬電路被配置為基于來自所述振動傳感器的振動特征來生成對振動傳感器數據進行編碼的壓縮數據。
33.一種方法，包括：
...【技術特征摘要】
【國外來華專利技術】
1.一種系統，包括：
2.根據權利要求1所述的系統，其中，所述數字電路包括選自由以下項組成的組的一個或更多個數字計算單元：cpu、gpu、risc、fpga和asic。
3.根據權利要求1所述的系統，其中，所述數字電路包括被配置為執行數據分類的處理器。
4.根據權利要求3所述的系統，其中，所述數據分類由不同于所述訓練后的神經網絡的神經網絡執行。
5.根據權利要求3所述的系統，其中，使用k最近鄰(k-nn)來執行所述數據分類。
6.根據權利要求1所述的系統，其中，所述模擬電路的所述輸出表示嵌入，并且所述數字電路被配置為使用所述嵌入來對所述模擬信號進行分類。
7.一種硬件裝置，包括：
8.根據權利要求7所述的硬件裝置，還包括：
9.根據權利要求7所述的硬件裝置，其中，所述振動傳感器鄰近機器的可移動部件設置，并且所述振動傳感器被配置為收集所述可移動部件的振動數據。
10.根據權利要求9所述的硬件裝置，其中，所述可移動部件包括所述機器的滾珠支承件。
11.根據權利要求7所述的硬件裝置，其中，所述模擬電路的所述輸出表示用于以下項中的至少一個的嵌入：定義振動源、預測耦合到所述振動源的機器的故障、以及生成用于所述機器的維護的建議。
12.根據權利要求7所述的硬件裝置，其中，所述振動傳感器設置在輪胎中或輪胎上，并且被配置為收集所述輪胎的振動數據。
13.根據權利要求7所述的硬件裝置，其中，所述輸出表示用于預測以下項中的至少一個的嵌入：路面、物理狀況、輪胎狀況、懸掛系統狀況或所述振動源的故障時間。
14.根據權利要求7所述的硬件裝置，其中，所述振動傳感器被配置為對0至20千赫茲(khz)的范圍內的信號進行采樣。
15.根據權利要求7所述的硬件裝置，其中，所述振動傳感器被配置為對高達41khz的信號進行采樣。
16.根據權利要求7所述的硬件裝置，其中，所述振動傳感器被配置為對低于奈奎斯特采樣率的信號進行采樣以用于在壓縮域中進行故障檢測和分類。
17.根據權利要求7所述的硬件裝置，其中，所述振動傳感器被配置為對用于壓縮感測(cs)的信號進行采樣，以用于旋轉機器中的滾動元件支...
【專利技術屬性】
技術研發人員：波里斯·瑪索夫，亞歷山大·提莫非杰弗斯，
申請(專利權)人：普立恩科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。