一種基于擬牛頓方法的受限玻爾茲曼機迭代映射訓練方法技術

本發明專利技術公開了一種基于擬牛頓方法的受限玻爾茲曼機迭代映射訓練方法，包括：初始化受限玻爾茲曼機參數；在給定樣本的情形下，利用當前受限玻爾茲曼機的條件分布生成隱含節點的樣本，將給定樣本和隱含節點的樣本連接生成子訓練樣本，通過子訓練過程更新受限玻爾茲曼機直到收斂。本發明專利技術利用基于曲率信息的二階優化算法可以提高訓練算法對于病態問題的魯棒性，并且加速迭代映射方法，解決了傳統受限玻爾茲曼機訓練過程中的下水平集病態問題。

【技術實現步驟摘要】

本專利技術涉及深度神經網絡(DNN)的訓練方法，尤其涉及一種受限玻爾茲曼機的訓練方法。
技術介紹
深度學習在語音識別，圖像識別，自然語言處理等傳統人工智能
，以及計算技術與醫療，制造業和運輸業的新興交叉領域有著廣闊的應用。目前常用的深度學習框架中，深度信念網絡(DeepBeliefNetwork，DBN)作為一種生成模型，通過無監督預訓練調整模型參數，可以為深度神經網絡(DNN)的訓練提供較好的初始參數。因此深度信念網絡的訓練在深度學習問題中有著重要的意義。深度信念網絡是由一種叫受限玻爾茲曼機(RestrictedBoltzmannMachine，RBM)的模型構成的，研究深度信念網絡的訓練，可以從受限玻爾茲曼機的訓練著手。受限玻爾茲曼機是深度神經網絡的重要組成部分。目前廣泛應用的RBM訓練方法是對比散度(ContrastiveDivergence，CD)法，它是最大似然方法(MaximumLikelihood,ML)方法的一種近似方法。不論是對比散度法還是最大似然法都是基于梯度下降的訓練算法，這類算法的優化效率強烈依賴于問題的下水平集。在遇到問題本身下水平集病態的時候，如Rosenbrock優化問題，這類算法的收斂速度就非常緩慢。事實上，甚至當下水平集的條件數適中的時候，這類優化算法的效率就幾乎會隨著下水平集條件數的增加而線性下降。并且這類算法沒有對于問題規模的一個很好的度量，達到收斂所需要的迭代次數往往會隨著問題規模的變大而大量的增加。信息幾何理論為人們研究玻爾茲曼機訓練過程的幾何特性提供了完備統一的數學工具和分析方法。日本統計學家Amari等人在1992年針對一般玻爾茲曼機提出了基于信息幾何理論的em算法(迭代映射算法)，并證明其與EM算法在大多數情形下的等效性。
技術實現思路
受限玻爾茲曼機(RestrictedBoltzmannMachine,RBM)作為基礎構件廣泛應用于各種深度學習模型中。針對玻爾茲曼機訓練中的病態問題，本專利技術提供了一種基于擬牛頓方法(Quasi-Newton)的訓練方法，將以em算法為基礎，利用并設計擬牛頓方法訓練RBM，以解決傳統RBM訓練過程中的下水平集病態問題。本專利技術利用基于曲率信息的二階優化算法可以提高訓練算法對于病態問題的魯棒性，并且加速迭代映射方法。為了解決上述技術問題，本專利技術提出了一種基于擬牛頓方法的受限玻爾茲曼機迭代映射訓練方法，主要包括：初始化受限玻爾茲曼機參數，生成子訓練樣本，通過子訓練過程更新受限玻爾茲曼機直到收斂；具體步驟如下：步驟一、初始化受限玻爾茲曼機參數ξ0；步驟二、在給定樣本x的情形下，利用當前受限玻爾茲曼機的條件分布pi(h|x；ξi)生成隱含節點的樣本h(i)，將樣本x和h(i)連接生成樣本(x,h(i))，其中，i＝0,1,2,…；步驟三、利用樣本(x,h(i))通過下述的子訓練階段得到子訓練中的受限玻爾茲曼機的參數α*；其中，子訓練階段內容如下：3-1)初始化子訓練階段受限玻爾茲曼機的參數α0；3-2)利用樣本(x,h(i))進行吉布斯采樣，求得3-3)利用Newton方法在當前參數αj的鄰域內將目標方程按二階泰勒公式展開：式(1)中，αj+1＝αj+t，D(·)為目標函數，即為KL散度；為目標函數的梯度，H為Hessian矩陣；t是迭代變化量；對式(1)兩邊求導后，得到式(2)：采用有限差方法，利用式(3)，求得矩陣向量積Ht：式(3)中，η為學習率；根據上述得到的近似梯度和矩陣向量積Ht，采用迭代共軛梯度法來求解式(2)，迭代求出t*，即最優的迭代變化量，在此過程中產生一個迭代序列：{tk本文檔來自技高網...

【技術保護點】
一種基于擬牛頓方法的受限玻爾茲曼機迭代映射訓練方法，包括：初始化受限玻爾茲曼機參數，生成子訓練樣本，通過子訓練過程更新受限玻爾茲曼機直到收斂；其特征在于：具體步驟如下：步驟一、初始化受限玻爾茲曼機參數ξ0；步驟二、在給定樣本x的情形下，利用當前受限玻爾茲曼機的條件分布pi(h|x；ξi)生成隱含節點的樣本h(i)，將樣本x和h(i)連接生成樣本(x,h(i))，其中，i＝0,1,2,…；步驟三、利用樣本(x,h(i))通過下述的子訓練階段得到子訓練中的受限玻爾茲曼機的參數α*；其中，子訓練階段內容如下：3?1)初始化子訓練階段受限玻爾茲曼機的參數α0；3?2)利用樣本(x,h(i))進行吉布斯采樣，求得3?3)利用Newton方法在當前參數αj的鄰域內將目標方程按二階泰勒公式展開：D(αj+t)≈qαj+1(t)≡D(αj+1)+▿D(αj+1)Tt+12tTHt---(1)]]>式(1)中，αj+1＝αj+t，D(·)為目標函數，即為KL散度；為目標函數的梯度，H為Hessian矩陣；t是迭代變化量；對式(1)兩邊求導后，得到式(2)：Ht=▿D(αj+1)-▿D(αj)---(2)]]>采用有限差方法，利用式(3)，求得矩陣向量積Ht：Ht=limηt→0▿D(αj+ηt)-▿D(αj)η---(3)]]>式(3)中，η為學習率；根據上述得到的近似梯度和矩陣向量積Ht，采用迭代共軛梯度法來求解式(2)，迭代求出t*，即最優的迭代變化量，在此過程中產生一個迭代序列：{tk}，k＝1,2…；3?4)判斷殘差是否達到指定精度，若達到，則進行3?5)，否則，返回步驟3?3)；3?5)利用步驟3?3)求得的t*更新子訓練階段受限玻爾茲曼機的參數：αj+1＝αj+t*；3?6)重復執行步驟3?2)至3?5)直到達到式(4)所示的收斂條件，子訓練結束，得到的受限玻爾茲曼機的參數為α*；▿D(αj+1)<ρ---(4)]]>式(4)中，ρ為次優性閾值；步驟四、將參數α*替換整體訓練中的參數ξi+1，即ξi+1＝α*；判斷是否滿足式(5)所示的收斂條件，若滿足，整體訓練結束，若未滿足，令i＝i+1，重復執行步驟二和步驟三；||ξi+1?ξi||<∈??(5)式(5)中，∈為設置的精度閾值；至此得到反映給定樣本數據x內部特征的受限玻爾茲曼機。...

【技術特征摘要】
1.一種基于擬牛頓方法的受限玻爾茲曼機迭代映射訓練方法，包括：初始化受限玻爾茲曼機參數，生成子訓練樣本，通過子訓練過程更新受限玻爾茲曼機直到收斂；其特征在于：具體步驟如下：步驟一、初始化受限玻爾茲曼機參數ξ0；步驟二、在給定樣本x的情形下，利用當前受限玻爾茲曼機的條件分布pi(h|x；ξi)生成隱含節點的樣本h(i)，將樣本x和h(i)連接生成樣本(x,h(i))，其中，i＝0,1,2,…；步驟三、利用樣本(x,h(i))通過下述的子訓練階段得到子訓練中的受限玻爾茲曼機的參數α*；其中，子訓練階段內容如下：3-1)初始化子訓練階段受限玻爾茲曼機的參數α0；3-2)利用樣本(x,h(i))進行吉布斯采樣，求得3-3)利用Newton方法在當前參數αj的鄰域內將目標方程按二階泰勒公式展開：D(αj+t)≈qαj+1(t...

【專利技術屬性】
技術研發人員：侯越先，糜帥，
申請(專利權)人：天津大學，
類型：發明
國別省市：天津;12