bp神經(jīng)網(wǎng)絡(luò )(自學(xué)bp神經(jīng)網(wǎng)絡(luò )要有什么基礎)

1.自學(xué)bp神經(jīng)網(wǎng)絡(luò )要有什么基礎

簡(jiǎn)介：BP(Back Propagation)網(wǎng)絡(luò )是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆傳播算法訓練的多層前饋網(wǎng)絡(luò )，是目前應用最廣泛的神經(jīng)網(wǎng)絡(luò )模型之一。

BP網(wǎng)絡(luò )能學(xué)習和存貯大量的輸入-輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數學(xué)方程。它的學(xué)習規則是使用最速下降法，通過(guò)反向傳播來(lái)不斷調整網(wǎng)絡(luò )的權值和閾值，使網(wǎng)絡(luò )的誤差平方和最小。

BP神經(jīng)網(wǎng)絡(luò )模型拓撲結構包括輸入層（input）、隱層（hide layer）和輸出層（output layer） 摘 要：BP神經(jīng)網(wǎng)絡(luò )算法是在BP神經(jīng)網(wǎng)絡(luò )現有算法的基礎上提出的，是通過(guò)任意選定一組權值，將給定的目標輸出直接作為線(xiàn)性方程的代數和來(lái)建立線(xiàn)性方程組，解得待求權，不存在傳統方法的局部極小及收斂速度慢的問(wèn)題，且更易理解。 關(guān)鍵詞：固定權值；gauss消元法；BP算法 人工神經(jīng)網(wǎng)絡(luò )（artificial neural networks,ANN）系統是20世紀40年代后出現的，它是由眾多的神經(jīng)元可調的連接權值連接而成，具有大規模并行處理、分布式信息存儲、良好的自組織自學(xué)習能力等特點(diǎn)，在信息處理、模式識別、智能控制及系統建模等領(lǐng)域得到越來(lái)越廣泛的應用。

尤其誤差反向傳播算法（Error Back-propagation Training，簡(jiǎn)稱(chēng)BP網(wǎng)絡(luò )）可以逼近任意連續函數，具有很強的非線(xiàn)性映射能力，而且網(wǎng)絡(luò )的中間層數、各層的處理單元數及網(wǎng)絡(luò )的學(xué)習系數等參數可根據具體情況設定，靈活性很大，所以它在許多應用領(lǐng)域中起到重要作用。近年來(lái)，為了解決BP神經(jīng)網(wǎng)絡(luò )收斂速度慢、不能保證收斂到全局最小點(diǎn)，網(wǎng)絡(luò )的中間層及它的單元數選取無(wú)理論指導及網(wǎng)絡(luò )學(xué)習和記憶的不穩定性等缺陷，提出了許多改進(jìn)算法。

1 傳統的BP算法簡(jiǎn)述 BP算法是一種有監督式的學(xué)習算法，其主要思想是：輸入學(xué)習樣本，使用反向傳播算法對網(wǎng)絡(luò )的權值和偏差進(jìn)行反復的調整訓練，使輸出的向量與期望向量盡可能地接近，當網(wǎng)絡(luò )輸出層的誤差平方和小于指定的誤差時(shí)訓練完成，保存網(wǎng)絡(luò )的權值和偏差。具體步驟如下： （1）初始化，隨機給定各連接權[w],[v]及閥值θi,rt。

(2)由給定的輸入輸出模式對計算隱層、輸出層各單元輸出 bj=f（■wijai-θj） ct=f（■vjtbj-rt） 式中：bj為隱層第j個(gè)神經(jīng)元實(shí)際輸出；ct為輸出層第t個(gè)神經(jīng)元的實(shí)際輸出；wij為輸入層至隱層的連接權；vjt為隱層至輸出層的連接權。 dtk=(ytk-ct)ct(1-ct) ejk=[■dtvjt] bj(1-bj) 式中：dtk為輸出層的校正誤差；ejk為隱層的校正誤差。

（3）計算新的連接權及閥值，計算公式如下： vjt(n+1)=vjt(n)+琢dtkbj wij(n+1)=wij(n)+茁ejkaik rt(n+1)=rt(n)+琢dtk θj(n+1)=θj(n)+茁ejk 式中：琢，茁為學(xué)習系數（0。

2.什么是BP神經(jīng)網(wǎng)絡(luò )

BP網(wǎng)絡(luò )是一種神經(jīng)網(wǎng)絡(luò )學(xué)習算法。

其由輸入層、中間層、輸出層組成的階層型神經(jīng)網(wǎng)絡(luò )，中間層可擴展為多層。相鄰層之間各神經(jīng)元進(jìn)行全連接，而每層各神經(jīng)元之間無(wú)連接，網(wǎng)絡(luò )按有教師示教的方式進(jìn)行學(xué)習，當一對學(xué)習模式提供給網(wǎng)絡(luò )后，各神經(jīng)元獲得網(wǎng)絡(luò )的輸入響應產(chǎn)生連接權值（Weight）。

然后按減小希望輸出與實(shí)際輸出誤差的方向，從輸出層經(jīng)各中間層逐層修正各連接權，回到輸入層。此過(guò)程反復交替進(jìn)行，直至網(wǎng)絡(luò )的全局誤差趨向給定的極小值，即完成學(xué)習的過(guò)程。

找個(gè)神經(jīng)網(wǎng)絡(luò )軟件，如NeuroSolutions或邁實(shí)神經(jīng)網(wǎng)絡(luò )軟件，邊操作邊學(xué)習，會(huì )更好的理解神經(jīng)網(wǎng)絡(luò )。

3.BP神經(jīng)網(wǎng)絡(luò )的介紹

BP(Back Propagation)神經(jīng)網(wǎng)絡(luò )是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆傳播算法訓練的多層前饋網(wǎng)絡(luò )，是目前應用最廣泛的神經(jīng)網(wǎng)絡(luò )模型之一。BP網(wǎng)絡(luò )能學(xué)習和存貯大量的輸入-輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數學(xué)方程。它的學(xué)習規則是使用最速下降法，通過(guò)反向傳播來(lái)不斷調整網(wǎng)絡(luò )的權值和閾值，使網(wǎng)絡(luò )的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò )模型拓撲結構包括輸入層（input）、隱層（hidden layer）和輸出層（output layer）。

4.什么是BP神經(jīng)網(wǎng)絡(luò )

BP算法的基本思想是：學(xué)習過(guò)程由信號正向傳播與誤差的反向回傳兩個(gè)部分組成；正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)各隱層依次逐層處理，傳向輸出層，若輸出層輸出與期望不符，則將誤差作為調整信號逐層反向回傳，對神經(jīng)元之間的連接權矩陣做出處理，使誤差減小。經(jīng)反復學(xué)習，最終使誤差減小到可接受的范圍。具體步驟如下：

1、從訓練集中取出某一樣本，把信息輸入網(wǎng)絡(luò )中。

2、通過(guò)各節點(diǎn)間的連接情況正向逐層處理后，得到神經(jīng)網(wǎng)絡(luò )的實(shí)際輸出。

3、計算網(wǎng)絡(luò )實(shí)際輸出與期望輸出的誤差。

4、將誤差逐層反向回傳至之前各層，并按一定原則將誤差信號加載到連接權值上，使整個(gè)神經(jīng)網(wǎng)絡(luò )的連接權值向誤差減小的方向轉化。

5、対訓練集中每一個(gè)輸入—輸出樣本對重復以上步驟，直到整個(gè)訓練樣本集的誤差減小到符合要求為止。

5.BP神經(jīng)網(wǎng)絡(luò )的原理的BP什么意思

Back PropagationBP (Back Propagation)神經(jīng)網(wǎng)絡(luò )，即誤差反傳誤差反向傳播算法的學(xué)習過(guò)程，由信息的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。

輸入層各神經(jīng)元負責接收來(lái)自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內部信息處理層，負責信息變換，根據信息變化能力的需求，中間層（隱含層）可以設計為單隱層或者多隱層結構；最后一個(gè)隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進(jìn)一步處理后，完成一次學(xué)習的正向傳播處理過(guò)程，由輸出層向外界輸出信息處理結果。神經(jīng)網(wǎng)絡(luò )很多種，BP神經(jīng)網(wǎng)絡(luò )最常用。

6.BP神經(jīng)網(wǎng)絡(luò )的特性

思維學(xué)普遍認為，人類(lèi)大腦的思維分為抽象（邏輯）思維、形象（直觀(guān)）思維和靈感（頓悟）思維三種基本方式。

邏輯性的思維是指根據邏輯規則進(jìn)行推理的過(guò)程；它先將信息化成概念，并用符號表示，然后，根據符號運算按串行模式進(jìn)行邏輯推理；這一過(guò)程可以寫(xiě)成串行的指令，讓計算機執行。然而，直觀(guān)性的思維是將分布式存儲的信息綜合起來(lái)，結果是忽然間產(chǎn)生想法或解決問(wèn)題的辦法。這種思維方式的根本之點(diǎn)在于以下兩點(diǎn)：1.信息是通過(guò)神經(jīng)元上的興奮模式分布儲在網(wǎng)絡(luò )上；2.信息處理是通過(guò)神經(jīng)元之間同時(shí)相互作用的動(dòng)態(tài)過(guò)程來(lái)完成的。

人工神經(jīng)網(wǎng)絡(luò )具有初步的自適應與自組織能力。在學(xué)習或訓練過(guò)程中改變突觸權重值，以適應周?chē)h(huán)境的要求。同一網(wǎng)絡(luò )因學(xué)習方式及內容不同可具有不同的功能。人工神經(jīng)網(wǎng)絡(luò )是一個(gè)具有學(xué)習能力的系統，可以發(fā)展知識，以致超過(guò)設計者原有的知識水平。通常，它的學(xué)習訓練方式可分為兩種，一種是有監督或稱(chēng)有導師的學(xué)習，這時(shí)利用給定的樣本標準進(jìn)行分類(lèi)或模仿；另一種是無(wú)監督學(xué)習或稱(chēng)無(wú)導師學(xué)習，這時(shí)，只規定學(xué)習方式或某些規則，則具體的學(xué)習內容隨系統所處環(huán)境 （即輸入信號情況）而異，系統可以自動(dòng)發(fā)現環(huán)境特征和規律性，具有更近似人腦的功能。

7.BP神經(jīng)網(wǎng)絡(luò )的工作原理

人工神經(jīng)網(wǎng)絡(luò )就是模擬人思維的第二種方式。這是一個(gè)非線(xiàn)性動(dòng)力學(xué)系統，其特色在于信息的分布式存儲和并行協(xié)同處理。雖然單個(gè)神經(jīng)元的結構極其簡(jiǎn)單，功能有限，但大量神經(jīng)元構成的網(wǎng)絡(luò )系統所能實(shí)現的行為卻是極其豐富多彩的。

人工神經(jīng)網(wǎng)絡(luò )首先要以一定的學(xué)習準則進(jìn)行學(xué)習，然后才能工作。現以人工神經(jīng)網(wǎng)絡(luò )對手寫(xiě)“A”、“B”兩個(gè)字母的識別為例進(jìn)行說(shuō)明，規定當“A”輸入網(wǎng)絡(luò )時(shí)，應該輸出“1”，而當輸入為“B”時(shí)，輸出為“0”。

所以網(wǎng)絡(luò )學(xué)習的準則應該是：如果網(wǎng)絡(luò )作出錯誤的的判決，則通過(guò)網(wǎng)絡(luò )的學(xué)習，應使得網(wǎng)絡(luò )減少下次犯同樣錯誤的可能性。首先，給網(wǎng)絡(luò )的各連接權值賦予（0,1）區間內的隨機值，將“A”所對應的圖象模式輸入給網(wǎng)絡(luò )，網(wǎng)絡(luò )將輸入模式加權求和、與門(mén)限比較、再進(jìn)行非線(xiàn)性運算，得到網(wǎng)絡(luò )的輸出。在此情況下，網(wǎng)絡(luò )輸出為“1”和“0”的概率各為50%，也就是說(shuō)是完全隨機的。這時(shí)如果輸出為“1”（結果正確），則使連接權值增大，以便使網(wǎng)絡(luò )再次遇到“A”模式輸入時(shí)，仍然能作出正確的判斷。

如果輸出為“0”（即結果錯誤），則把網(wǎng)絡(luò )連接權值朝著(zhù)減小綜合輸入加權值的方向調整，其目的在于使網(wǎng)絡(luò )下次再遇到“A”模式輸入時(shí)，減小犯同樣錯誤的可能性。如此操作調整，當給網(wǎng)絡(luò )輪番輸入若干個(gè)手寫(xiě)字母“A”、“B”后，經(jīng)過(guò)網(wǎng)絡(luò )按以上學(xué)習方法進(jìn)行若干次學(xué)習后，網(wǎng)絡(luò )判斷的正確率將大大提高。這說(shuō)明網(wǎng)絡(luò )對這兩個(gè)模式的學(xué)習已經(jīng)獲得了成功，它已將這兩個(gè)模式分布地記憶在網(wǎng)絡(luò )的各個(gè)連接權值上。當網(wǎng)絡(luò )再次遇到其中任何一個(gè)模式時(shí)，能夠作出迅速、準確的判斷和識別。一般說(shuō)來(lái)，網(wǎng)絡(luò )中所含的神經(jīng)元個(gè)數越多，則它能記憶、識別的模式也就越多。

如圖所示拓撲結構的單隱層前饋網(wǎng)絡(luò )，一般稱(chēng)為三層前饋網(wǎng)或三層感知器，即：輸入層、中間層（也稱(chēng)隱層）和輸出層。它的特點(diǎn)是：各層神經(jīng)元僅與相鄰層神經(jīng)元之間相互全連接，同層內神經(jīng)元之間無(wú)連接，各層神經(jīng)元之間無(wú)反饋連接，構成具有層次結構的前饋型神經(jīng)網(wǎng)絡(luò )系統。單計算層前饋神經(jīng)網(wǎng)絡(luò )只能求解線(xiàn)性可分問(wèn)題，能夠求解非線(xiàn)性問(wèn)題的網(wǎng)絡(luò )必須是具有隱層的多層神經(jīng)網(wǎng)絡(luò )。