一種基于多神經(jīng)元覆蓋的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法技術(shù)

本發(fā)明專利技術(shù)提供了一種基于多神經(jīng)元覆蓋的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法，運(yùn)用仿生模式識(shí)別的理論，利用不同形式的神經(jīng)元來構(gòu)造神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。BP網(wǎng)絡(luò)的神經(jīng)元表達(dá)的是兩個(gè)矢量之間的角度問題，即方向問題；RBF網(wǎng)絡(luò)的神經(jīng)元表達(dá)的是高維空間中兩點(diǎn)之間的距離問題；通過構(gòu)建BP網(wǎng)絡(luò)的神經(jīng)元和RBF網(wǎng)絡(luò)的神經(jīng)元所疊加的神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)對(duì)簡(jiǎn)單幾何體的覆蓋；然后通過對(duì)簡(jiǎn)單幾何體合并或相交的方法實(shí)現(xiàn)對(duì)復(fù)雜幾何體的覆蓋。本發(fā)明專利技術(shù)從高維空間理論出發(fā)，針對(duì)仿生模式識(shí)別提出的高維空間中復(fù)雜幾何體覆蓋問題，構(gòu)造出了由多種神經(jīng)元模型組成的神經(jīng)網(wǎng)絡(luò)。仿真結(jié)果表明，用不同神經(jīng)元模型構(gòu)造的神經(jīng)網(wǎng)絡(luò)不僅具有可行性，而且相對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)具有優(yōu)越性。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法，尤其涉及一種基于多神經(jīng)元覆蓋的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法，可應(yīng)用于模式識(shí)別、數(shù)據(jù)挖掘、圖像處理等

技術(shù)介紹
人們普遍認(rèn)為，有什么樣的結(jié)構(gòu)就會(huì)產(chǎn)生什么樣的功能。按照這種觀念，為了研究智能，就要澄清腦的結(jié)構(gòu)，按照這種結(jié)構(gòu)來構(gòu)成人工系統(tǒng)，達(dá)到模擬或復(fù)制人腦智能的目的。雖然人們對(duì)大腦的結(jié)構(gòu)還不甚了解，但他們從這種思想出發(fā)，利用現(xiàn)有的科學(xué)技術(shù)，研究出了Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和ART網(wǎng)絡(luò)及它們的改進(jìn)型，并在最優(yōu)控制、專家系統(tǒng)、模式識(shí)別等方面取得了一定的成果。神經(jīng)網(wǎng)絡(luò)是實(shí)現(xiàn)仿生模式識(shí)別十分有效的工具，但是由于神經(jīng)網(wǎng)絡(luò)的自身不足，使得仿生模式識(shí)別在應(yīng)用過程中必然存在各種各樣的問題。比如以前向神經(jīng)網(wǎng)絡(luò)作為實(shí)現(xiàn)工具為例，在仿生模式識(shí)別的學(xué)習(xí)過程中存在如下三個(gè)方面的困難：其一是學(xué)習(xí)速度緩慢；其二是局部極小值問題；其三是針對(duì)特定問題選擇合理的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。大量應(yīng)用實(shí)踐證明，網(wǎng)絡(luò)結(jié)構(gòu)過大易引起網(wǎng)絡(luò)訓(xùn)練速度太慢，甚至出現(xiàn)過擬合現(xiàn)象，而網(wǎng)絡(luò)結(jié)構(gòu)過小又容易造成不收斂的問題。實(shí)際應(yīng)用中的網(wǎng)絡(luò)結(jié)構(gòu)確定往往帶有人為主觀因素，缺乏一定的理論指導(dǎo)。現(xiàn)階段，模式識(shí)別大致分為兩類：基于數(shù)理統(tǒng)計(jì)的傳統(tǒng)模式識(shí)別和仿生模式識(shí)別。傳統(tǒng)模式識(shí)別認(rèn)為樣本的可用信息都包含在樣本集中，各樣本之間都是孤立存在的，彼此沒有任何的聯(lián)系。而仿生模式識(shí)別認(rèn)為：自然界任何被認(rèn)識(shí)的事物若存在兩個(gè)“同源”同類而又不完全相等的事物，則這兩個(gè)事物之間必至少存在一個(gè)漸變過程，在這個(gè)漸變過程中的各事物都是屬于同一類的。所以仿生模式識(shí)別是把一類樣本在特征空間中的最佳覆蓋作為目標(biāo)，而不是傳統(tǒng)模式識(shí)別所強(qiáng)調(diào)的最佳劃分。傳統(tǒng)模式識(shí)別系統(tǒng)中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，大致上可以分為三類：一是對(duì)神經(jīng)網(wǎng)絡(luò)權(quán)連接的修剪策略，即在獲得理想的訓(xùn)練精度之后，動(dòng)態(tài)地刪掉多余地權(quán)和節(jié)點(diǎn)；二是對(duì)隱節(jié)點(diǎn)地增長(zhǎng)與修剪策略；三是子網(wǎng)增長(zhǎng)地神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。無論采用何種方法，最為關(guān)鍵的是以Vapnik的理論為指導(dǎo)方針：即當(dāng)網(wǎng)絡(luò)的體系結(jié)構(gòu)可依樣本知識(shí)進(jìn)行選擇，且隨問題的復(fù)雜度而改變時(shí)，不僅能夠確保網(wǎng)絡(luò)的學(xué)習(xí)性能有所提高，而且也使得網(wǎng)絡(luò)結(jié)構(gòu)的大小針對(duì)特定任務(wù)十分合適，冗余性很小。然而，正如Vapnik指出的“對(duì)鳥類如何飛行的研究，實(shí)際上對(duì)建造飛機(jī)并沒有多少幫助一樣”，研究者在對(duì)已有生物神經(jīng)認(rèn)知的基礎(chǔ)上建造的神經(jīng)網(wǎng)絡(luò)(人工神經(jīng)網(wǎng)絡(luò))，功能并沒有達(dá)到人們想象的效果，更遠(yuǎn)遠(yuǎn)沒有達(dá)到人腦的功能，這就要求我們從另一個(gè)角度去考慮問題。基于“認(rèn)識(shí)”的仿生模式識(shí)別理論中，被“認(rèn)識(shí)”的事物A的每一個(gè)輸入樣本都對(duì)應(yīng)高維特征空間Rn中一個(gè)n(n為大于1的整數(shù))維超球體，也就是一個(gè)球形鄰域。完成對(duì)“事物A”的認(rèn)識(shí)過程就是在特征空間Rn中對(duì)所有訓(xùn)練樣本點(diǎn)集所形成的無窮多個(gè)球形鄰域進(jìn)行“覆蓋”。因此，基于仿生模式識(shí)別的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)準(zhǔn)則就是：在模式能夠被超曲面完全覆蓋的條件下，不僅能夠有效提高了仿生模式識(shí)別過程中神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)性能，而且也能使得網(wǎng)絡(luò)結(jié)構(gòu)滿足特定識(shí)別任務(wù)的要求。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)要解決的技術(shù)問題是提供一種基于多神經(jīng)元覆蓋的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法，運(yùn)用仿生模式識(shí)別的理論，利用不同形式的神經(jīng)元來構(gòu)造神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，使得在模式識(shí)別時(shí)，該網(wǎng)絡(luò)能起到良好的識(shí)別效果。為了解決上述技術(shù)問題，本專利技術(shù)的技術(shù)方案是提供一種基于多神經(jīng)元覆蓋的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法，其特征在于：其特征在于：一、高維空間中的神經(jīng)元模型一個(gè)人工神經(jīng)元，其基本運(yùn)算公式為：Y＝f[Φ(x1，x2，...xn)-θ](1)上式中：x1，x2，...xn為輸入量，n為大于1的整數(shù)；Y為輸出量；f為神經(jīng)元非線性輸出轉(zhuǎn)移函數(shù)；Φ(x1，x2，...xn)為包括各權(quán)值在內(nèi)的神經(jīng)元的基本運(yùn)算規(guī)則；θ為神經(jīng)元閾值；(1)對(duì)于BP網(wǎng)絡(luò)的神經(jīng)元，在轉(zhuǎn)移函數(shù)為硬限幅時(shí)，神經(jīng)元函數(shù)的基變?yōu)椋浩渲校瑸殒溄用恳粋€(gè)神經(jīng)元的權(quán)重值的平均值；i為第i個(gè)神經(jīng)元；由余弦定理可知，BP網(wǎng)絡(luò)的神經(jīng)元表達(dá)的是兩個(gè)矢量之間的角度問題，即方向問題；(2)對(duì)于RBF網(wǎng)絡(luò)的神經(jīng)元，在轉(zhuǎn)移函數(shù)為硬限幅時(shí)，神經(jīng)元函數(shù)的基變?yōu)椋浩渲校豬為鏈接每一個(gè)神經(jīng)元的權(quán)重值；i為第i個(gè)神經(jīng)元；RBF網(wǎng)絡(luò)的神經(jīng)元表達(dá)的是高維空間中兩點(diǎn)之間的距離問題；二、神經(jīng)元對(duì)幾何體的覆蓋同一類樣本在多維空間中的分布表現(xiàn)為一個(gè)復(fù)雜的幾何體，要實(shí)現(xiàn)對(duì)復(fù)雜幾何體的覆蓋，首先實(shí)施對(duì)多個(gè)簡(jiǎn)單幾何體的覆蓋，然后通過對(duì)簡(jiǎn)單幾何體合并或相交的方法實(shí)現(xiàn)對(duì)復(fù)雜幾何體的覆蓋；在多維空間中，要實(shí)現(xiàn)對(duì)簡(jiǎn)單幾何體的覆蓋，要解決兩個(gè)方面的問題：距離問題和方向問題，而這兩個(gè)問題正是上述BP網(wǎng)絡(luò)的神經(jīng)元、RBF網(wǎng)絡(luò)的神經(jīng)元所表達(dá)的，通過構(gòu)建BP網(wǎng)絡(luò)的神經(jīng)元和RBF網(wǎng)絡(luò)的神經(jīng)元所疊加的神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)對(duì)簡(jiǎn)單幾何體的覆蓋。優(yōu)選地，所述基于多神經(jīng)元覆蓋的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括至少兩層神經(jīng)元，第一層為BP網(wǎng)絡(luò)的神經(jīng)元，第二層為RBF網(wǎng)絡(luò)的神經(jīng)元，以BP網(wǎng)絡(luò)的神經(jīng)元的輸入量和輸出量作為RBF網(wǎng)絡(luò)的神經(jīng)元的輸入量。本專利技術(shù)從高維空間理論出發(fā)，通過分析兩種神經(jīng)元模型在高維空間中的物理意義，針對(duì)仿生模式識(shí)別提出的高維空間中復(fù)雜幾何體覆蓋問題，構(gòu)造出了由多種神經(jīng)元模型組成的神經(jīng)網(wǎng)絡(luò)。這種神經(jīng)網(wǎng)絡(luò)有效地運(yùn)用了BP網(wǎng)絡(luò)的神經(jīng)元在多維空間表示角度(方向)與RBF網(wǎng)絡(luò)的神經(jīng)元表示距離的幾何意義，通過首先構(gòu)造簡(jiǎn)單幾何體，而后通過相交與合并的方法，實(shí)現(xiàn)對(duì)復(fù)雜幾何體的構(gòu)造，突破了傳統(tǒng)地運(yùn)用單一神經(jīng)元模型構(gòu)造神經(jīng)網(wǎng)絡(luò)的思維模式，是一種新的建造神經(jīng)網(wǎng)絡(luò)的方法。仿真結(jié)果表明，用不同神經(jīng)元模型構(gòu)造的神經(jīng)網(wǎng)絡(luò)不僅具有可行性，而且相對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)具有優(yōu)越性。附圖說明圖1為點(diǎn)到直線距離的求取示意圖；圖2為神經(jīng)網(wǎng)絡(luò)連接示意圖。具體實(shí)施方式下面結(jié)合具體實(shí)施例，進(jìn)一步闡述本專利技術(shù)。應(yīng)理解，這些實(shí)施例僅用于說明本專利技術(shù)而不用于限制本專利技術(shù)的范圍。此外應(yīng)理解，在閱讀了本專利技術(shù)講授的內(nèi)容之后，本領(lǐng)域技術(shù)人員可以對(duì)本專利技術(shù)作各種改動(dòng)或修改，這些等價(jià)形式同樣落于本申請(qǐng)所附權(quán)利要求書所限定的范圍。在現(xiàn)行的人工神經(jīng)網(wǎng)絡(luò)中，人們總是按照生物神經(jīng)網(wǎng)絡(luò)的樣子，取大量形式相同的神經(jīng)元來構(gòu)造，而很少考慮用不同的神經(jīng)元來構(gòu)造網(wǎng)絡(luò)(生物神經(jīng)網(wǎng)絡(luò)中，不同神經(jīng)元的形狀與結(jié)構(gòu)也有明顯的不同)。本專利技術(shù)從高維空間的角度出發(fā)，運(yùn)用仿生模式識(shí)別的理論指出用不同形式的神經(jīng)元構(gòu)造的神經(jīng)網(wǎng)絡(luò)，在模式識(shí)別時(shí)能起到良好的識(shí)別效果。一、高維空間中的神經(jīng)元模型：我們知道，一個(gè)人工神經(jīng)元其基本運(yùn)算公式為：Y＝f[Φ(x1，x2，...xn)-θ](1)上式中：x1，x2，...xn為輸入量，n為大于1的整數(shù)；Y為輸出量；f為神經(jīng)元非線性輸出轉(zhuǎn)移函數(shù)；Φ(x1，x2，...xn)為包括各權(quán)值在內(nèi)的神經(jīng)元的基本運(yùn)算規(guī)則；θ為神經(jīng)元閾值。(1)對(duì)于BP網(wǎng)絡(luò)的神經(jīng)元，在轉(zhuǎn)移函數(shù)為硬限幅時(shí)，神經(jīng)元函數(shù)的基變?yōu)椋浩渲校瑸殒溄用恳粋€(gè)神經(jīng)元的權(quán)重值的平均值；i為第i個(gè)神經(jīng)元。由余弦定理可知，它表達(dá)的是兩個(gè)矢量之間的角度問題(即方向問題)。(2)對(duì)于RBF網(wǎng)絡(luò)的神經(jīng)元，在轉(zhuǎn)移函數(shù)為硬限幅時(shí)，神經(jīng)元函數(shù)的基變?yōu)椋浩渲校豬為鏈接每一個(gè)神經(jīng)元的權(quán)重值；i為第i個(gè)神經(jīng)元。可以看出，它表達(dá)的是高維空間中兩點(diǎn)之間的距離問題。在這一節(jié)中，介紹了兩種神經(jīng)元模型，一種是表達(dá)了方向問題，另一本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于多神經(jīng)元覆蓋的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法，其特征在于：一、高維空間中的神經(jīng)元模型一個(gè)人工神經(jīng)元，其基本運(yùn)算公式為：Y＝f[Φ(x1，x2，...xn)?θ]???(1)上式中：x1，x2，...xn為輸入量，n為大于1的整數(shù)；Y為輸出量；f為神經(jīng)元非線性輸出轉(zhuǎn)移函數(shù)；Φ(x1，x2，...xn)為包括各權(quán)值在內(nèi)的神經(jīng)元的基本運(yùn)算規(guī)則；θ為神經(jīng)元閾值；(1)對(duì)于BP網(wǎng)絡(luò)的神經(jīng)元，在轉(zhuǎn)移函數(shù)為硬限幅時(shí)，神經(jīng)元函數(shù)的基變?yōu)椋浩渲校瑸殒溄用恳粋€(gè)神經(jīng)元的權(quán)重值的平均值；i為第i個(gè)神經(jīng)元；由余弦定理可知，BP網(wǎng)絡(luò)的神經(jīng)元表達(dá)的是兩個(gè)矢量之間的角度問題，即方向問題；(2)對(duì)于RBF網(wǎng)絡(luò)的神經(jīng)元，在轉(zhuǎn)移函數(shù)為硬限幅時(shí)，神經(jīng)元函數(shù)的基變?yōu)椋?Phi;(x1,x2,...xn)-θ=Σi=0n[(xi-ωi)2]12-θ=0---(3)]]>其中，ωi為鏈接每一個(gè)神經(jīng)元的權(quán)重值；i為第i個(gè)神經(jīng)元；RBF網(wǎng)絡(luò)的神經(jīng)元表達(dá)的是高維空間中兩點(diǎn)之間的距離問題；二、神經(jīng)元對(duì)幾何體的覆蓋同一類樣本在多維空間中的分布表現(xiàn)為一個(gè)復(fù)雜的幾何體，要實(shí)現(xiàn)對(duì)復(fù)雜幾何體的覆蓋，首先實(shí)施對(duì)多個(gè)簡(jiǎn)單幾何體的覆蓋，然后通過對(duì)簡(jiǎn)單幾何體合并或相交的方法實(shí)現(xiàn)對(duì)復(fù)雜幾何體的覆蓋；在多維空間中，要實(shí)現(xiàn)對(duì)簡(jiǎn)單幾何體的覆蓋，要解決兩個(gè)方面的問題：距離問題和方向問題，而這兩個(gè)問題正是上述BP網(wǎng)絡(luò)的神經(jīng)元、RBF網(wǎng)絡(luò)的神經(jīng)元所表達(dá)的，通過構(gòu)建BP網(wǎng)絡(luò)的神經(jīng)元和RBF網(wǎng)絡(luò)的神經(jīng)元所疊加的神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)對(duì)簡(jiǎn)單幾何體的覆蓋。...

【技術(shù)特征摘要】
1.一種基于多神經(jīng)元覆蓋的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法，其特征在于：一、高維空間中的神經(jīng)元模型一個(gè)人工神經(jīng)元，其基本運(yùn)算公式為：Y＝f[Φ(x1，x2，...xn)-θ](1)上式中：x1，x2，...xn為輸入量，n為大于1的整數(shù)；Y為輸出量；f為神經(jīng)元非線性輸出轉(zhuǎn)移函數(shù)；Φ(x1，x2，...xn)為包括各權(quán)值在內(nèi)的神經(jīng)元的基本運(yùn)算規(guī)則；θ為神經(jīng)元閾值；(1)對(duì)于BP網(wǎng)絡(luò)的神經(jīng)元，在轉(zhuǎn)移函數(shù)為硬限幅時(shí)，神經(jīng)元函數(shù)的基變?yōu)椋浩渲校瑸殒溄用恳粋€(gè)神經(jīng)元的權(quán)重值的平均值；i為第i個(gè)神經(jīng)元；由余弦定理可知，BP網(wǎng)絡(luò)的神經(jīng)元表達(dá)的是兩個(gè)矢量之間的角度問題，即方向問題；(2)對(duì)于RBF網(wǎng)絡(luò)的神經(jīng)元，在轉(zhuǎn)移函數(shù)為硬限幅時(shí)，神經(jīng)元函數(shù)的基變?yōu)椋?Phi;(x1,x2,...xn)-θ=Σi=0n[(xi-ωi)2]12-θ=0---(3)]]...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：胡靜，
申請(qǐng)(專利權(quán))人：上海電機(jī)學(xué)院，
類型：發(fā)明
國(guó)別省市：上海;31