1 人工神經網絡的概念
現在關於人工神經網絡的定義還不統一，按國際著名神經網絡研究專家 Hecht Nielsen 的觀點， 神經網絡的定義是：人工神經網絡是由人工建立的、以有向圖爲拓撲結構的動態系統，它通過對連續或斷續的輸入作狀態響應而進行信息處理。 我們綜合來源、特點和各種解釋，神經網絡可簡單地表述爲：人工神經網絡是一種旨在模仿人腦結構及其功能的信息處理系統。
2 人工神經網絡的發展
2.1 MP模型的提出和人工神經網絡的興起。
1943年，美國神經生理學家Warren Mcculloch和數學家Walter Pitts合寫了一篇關於神經元如何工作的開拓性文章：“A Logical Calculus of Ideas Immanent in Nervous Activity”。該文指出，腦細胞的活動像斷/通開關，這些細胞可以按各種方式相互結合，進行各種邏輯運算。按此想法，他們用電路構成了簡單的神經網絡模型，並預言大腦的所有活動最終將被解釋清楚。雖然問題並非如此簡單，但它給人們一個信念，即大腦的活動是靠腦細胞的組合連接實現的。此模型沿用至今，並且直接影響着這一領域研究的進展。因而他們兩人可稱爲人工神經網絡研究的先驅。
2.2感知器模型和人工神經網絡
1957年，計算機專家Frank Rosenblatt開始從事感知器的研究，它是一種多層的神經網絡。後續他將此製成硬件，通常被認爲是最早的神經網絡模型。這項工作首次把人工神經網絡的研究從理論探討付諸工程實踐。當時世界上許多實驗室仿效製作感知機，分別應用於文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究。
1959年，兩位電機工程師Bernard Widrow和Marcian Haff開發出一種叫作自適應線性單元（ADALINE）的網絡模型，並在他們的論文“Adaptive Switching Circuits”中描述了該模型和它的學習算法（ Widrow-Haff算法）。該網絡通過訓練，可以成功用於抵消通信中的回波和噪聲，也可用於天氣預報，成爲第一個用於實際問題的神經網絡。
2.3反思期—神經網絡的低潮
1969年，Marvin Minsky和Seymour Papert合著了一本書“Perception”（如下圖所示），分析了當時的簡單感知器，指出它有非常嚴重的侷限性，甚至不能解決簡單的“異或”問題，爲Rosenblatt的感知器判了“死刑”。此時批評的聲音高漲，導致了政府停止對人工神經網絡研究所需的大量投資。不少研究人員把注意力轉向了人工智能，導致對人工神經網絡的研究陷入低潮。
2.4人工神經網絡的復甦
隨着人們對感知機興趣的衰退，神經網絡的研究沉寂了相當長的時間。直到1984年，Hopfield設計研製了後來被人們稱爲Hopfield網的電路，較好地解決了TCP問題，找到了最佳解的近似解，引起了較大轟動。1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield網絡中引入隨機機制，提出了所謂的Bolziman機。1986年，Rumelhart等研究者獨立地提出多層網絡的學習算法—BP算法，較好地解決了多層網絡的學習問題。
人們重新認識到神經網絡的威力以及付諸應用的現實性。隨即，一大批學者和研究人員圍繞着 Hopfield、Hinton等提出的方法展開了進一步的工作，形成了80年代中期以來人工神經網絡的研究熱潮。1990年12月，國內首屆神經網絡大會也在北京成功舉行。
2.5深度學習的出現
Hinton等人於2006年提出了深度學習的概念，2009年Hinton把深層神經網絡介紹給做語音的學者們，然後2010年語音識別就產生了巨大突破。接下來11年CNN又被應用在圖像識別領域，取得的成績令人矚目。2015年LeCun、Bengio和Hinton三位大牛在Nature上刊發了一篇綜述，題爲Deep Learning，這標誌着深度神經網絡不僅在工業屆獲得成功，還真正被學術界所接受。
2016、2017應該是深度學習全面爆發的兩年，Google推出的AlphaGo和Alpha Zero，經過短暫的學習就完全碾壓當今世界排名前三的圍棋選手；科大訊飛推出的智能語音系統，識別正確率高達到了97%以上，其也搖身一變成爲AI的領跑者；百度推出的無人駕駛體統Apollo也順利上路完成公測，使得共享汽車離我們越來越近。種種的成就讓舉世譁然的人類再次認識到神經網絡的價值和魅力。
3 人工神經網絡的應用
經過幾十年的發展，神經網絡理論在模式識別、自動控制、信號處理、輔助決策、人工智能等衆多研究領域取得了廣泛的成功。 下面介紹神經網絡在一些領域中的應用現狀。
3.1 人工神經網絡在信息領域中的應用
在處理許多問題中，信息來源既不完整，又包含假象，決策規則有時相互矛盾，有時無章可循，這給傳統的信息處理方式帶來了很大的困難，而神經網絡卻能很好的處理這些問題，並給出合理的識別與判斷。
3.1.1 信息處理
現代信息處理要解決的問題是很複雜的，人工神經網絡具有模仿或代替與人的思維有關的功能， 可以實現自動診斷、問題求解，解決傳統方法所不能或難以解決的問題。人工神經網絡系統具有很高的容錯性、 魯棒性及自組織性，即使連接線遭到很高程度的破壞， 它仍能處在優化工作狀態，這點在軍事系統電子設備中得到廣泛的應用。 現有的智能信息系統有智能儀器、自動跟蹤監測儀器系統、自動控制制導系統、自動故障診斷和報警系統等。
3.1.2 模式識別
模式識別是對錶徵事物或現象的各種形式的信息進行處理和分析，來對事物或現象進行描述、辨認、分類和解釋的過程。 該技術以貝葉斯概率論和申農的信息論爲理論基礎，對信息的處理過程更接近人類大腦的邏輯思維過程。 現在有兩種基本的模式識別方法，即統計模式識別方法和結構模式識別方法。 人工神經網絡是模式識別中的常用方法，近年來發展起來的人工神經網絡模式的識別方法逐漸取代傳統的模式識別方法。 經過多年的研究和發展，模式識別已成爲當前比較先進的技術，被廣泛應用到文字識別、語音識別、指紋識別、遙感圖像識別、人臉識別、手寫體字符的識別、工業故障檢測、精確制導等方面[10]。
3.2 人工神經網絡在醫學中的應用
由於人體和疾病的複雜性、不可預測性，在生物信號與信息的表現形式上、變化規律（自身變化與醫學干預後變化）上，對其進行檢測與信號表達，獲取的數據及信息的分析、決策等諸多方面都存在非常複雜的非線性聯繫，適合人工神經網絡的應用。 目前的研究幾乎涉及從基礎醫學到臨牀醫學的各個方面，主要應用在生物信號的檢測與自動分析，醫學專家系統等。
3.2.1 生物信號的檢測與分析
大部分醫學檢測設備都是以連續波形的方式輸出數據的，這些波形是診斷的依據。 人工神經網絡是由大量的簡單處理單元連接而成的自適應動力學系統， 具有巨量並行性，分佈式存貯，自適應學習的自組織等功能，可以用它來解決生物醫學信號分析處理中常規法難以解決或無法解決的問題。 神經網絡在生物醫學信號檢測與處理中的應用主要集中在對腦電信號的分析，聽覺誘發電位信號的提取、肌電和胃腸電等信號的識別，心電信號的壓縮，醫學圖像的識別和處理等。
3.2.2 醫學專家系統
傳統的專家系統，是把專家的經驗和知識以規則的形式存儲在計算機中，建立知識庫，用邏輯推理的方式進行醫療診斷。 但是在實際應用中，隨着數據庫規模的增大，將導致知識“爆炸”，在知識獲取途徑中也存在“瓶頸”問題，致使工作效率很低。 以非線性並行處理爲基礎的神經網絡爲專家系統的研究指明瞭新的發展方向， 解決了專家系統的以上問題，並提高了知識的推理、自組織、自學習能力，從而神經網絡在醫學專家系統中得到廣泛的應用和發展。
在麻醉與危重醫學等相關領域的研究中，涉及到多生理變量的分析與預測，在臨牀數據中存在着一些尚未發現或無確切證據的關係與現象，信號的處理，干擾信號的自動區分檢測，各種臨牀狀況的預測等，都可以應用到人工神經網絡技術。
3.3 人工神經網絡在經濟領域的應用
3.3.1 市場價格預測
對商品價格變動的分析，可歸結爲對影響市場供求關係的諸多因素的綜合分析。 傳統的統計經濟學方法因其固有的侷限性，難以對價格變動做出科學的預測，而人工神經網絡容易處理不完整的、 模糊不確定或規律性不明顯的數據，所以用人工神經網絡進行價格預測是有着傳統方法無法相比的優勢。 從市場價格的確定機制出發，依據影響商品價格的家庭戶數、人均可支配收入、貸款利率、城市化水平等複雜、多變的因素，建立較爲準確可靠的模型。 該模型可以對商品價格的變動趨勢進行科學預測，並得到準確客觀的評價結果。
3.3.2 風險評估
風險是指在從事某項特定活動的過程中，因其存在的不確定性而產生的經濟或財務的損失、自然破壞或損傷的可能性[11]。 防範風險的最佳辦法就是事先對風險做出科學的預測和評估。 應用人工神經網絡的預測思想是根據具體現實的風險來源， 構造出適合實際情況的信用風險模型的結構和算法，得到風險評價係數，然後確定實際問題的解決方案。 利用該模型進行實證分析能夠彌補主觀評估的不足，可以取得滿意效果。
3.4 人工神經網絡在控制領域中的應用
人工神經網絡由於其獨特的模型結構和固有的非線性模擬能力，以及高度的自適應和容錯特性等突出特徵，在控制系統中獲得了廣泛的應用。 其在各類控制器框架結構的基礎上，加入了非線性自適應學習機制，從而使控制器具有更好的性能。 基本的控制結構有監督控制、直接逆模控制、模型參考控制、內模控制、預測控制、最優決策控制等。
3.5 人工神經網絡在交通領域的應用
今年來人們對神經網絡在交通運輸系統中的應用開始了深入的研究。 交通運輸問題是高度非線性的，可獲得的數據通常是大量的、複雜的，用神經網絡處理相關問題有它巨大的優越性。 應用範圍涉及到汽車駕駛員行爲的模擬、參數估計、路面維護、車輛檢測與分類、交通模式分析、貨物運營管理、交通流量預測、運輸策略與經濟、交通環保、空中運輸、船舶的自動導航及船隻的辨認、地鐵運營及交通控制等領域並已經取得了很好的效果。
3.6 人工神經網絡在心理學領域的應用
從神經網絡模型的形成開始，它就與心理學就有着密不可分的聯繫。 神經網絡抽象於神經元的信息處理功能，神經網絡的訓練則反映了感覺、記憶、學習等認知過程。 人們通過不斷地研究， 變化着人工神經網絡的結構模型和學習規則，從不同角度探討着神經網絡的認知功能，爲其在心理學的研究中奠定了堅實的基礎。 近年來，人工神經網絡模型已經成爲探討社會認知、記憶、學習等高級心理過程機制的不可或缺的工具。 人工神經網絡模型還可以對腦損傷病人的認知缺陷進行研究，對傳統的認知定位機制提出了挑戰。
雖然人工神經網絡已經取得了一定的進步，但是還存在許多缺陷，例如：應用的面不夠寬闊、結果不夠精確；現有模型算法的訓練速度不夠高；算法的集成度不夠高；同時我們希望在理論上尋找新的突破點， 建立新的通用模型和算法。需進一步對生物神經元系統進行研究，不斷豐富人們對人腦神經的認識。
參考文獻：
[1] 武妍，王守覺.一種通過反饋提高神經網絡學習性能的新算法[J].計算機研究與發展，2004，41（9）: 1488-1492.
[2] 韓立羣. 人工神經網絡[M]. 北京:北京郵電大學出版社，2006.
[3] Jenkins B K，Tanguay A R. Handbook of Neural Computing and Neural Networks[M]. Boston: MIT Press，1995.
[4] 王小平，曹立明.遺傳算法—理論、應用與軟件實現.西安交通大學出版社，2002.
[5] 羅忠，謝永斌，朱重光. CMAC學習過程收斂性研究[J]. 自動化學報，1997，23（4）:455-461.
[6] Setiono R，Leow W K.FERNN: An algorithm for fast extraction of rules from neural networks[J]. Applied Intelligence，2000， 12（1-2）: 15-25.
[7] 何國光，朱萍，曹志彤，等. 混沌神經網絡的Lyapunov指數與混沌區域[J]. 浙江大學學報，2004，31