計算智能導論（第二版）讀書筆記
譯者序：
人工智能是未來之路，智能計算是未來計算的方式，計算智能是自底向上的，研究和模擬自然智能，出發點是模擬自然實現對複雜問題的求解。
導論性的介紹了
- 人工神經網絡（生物神經系統NN）
- 進化計算（生物進化過程EC）
- 計算羣體智能（社會組織羣體行爲SI）
- 人工免疫網絡（自然免疫系統AIS）
- 模糊系統（人類思維過程FS）
本書翻譯，譚營教授領導的北京大學計算智能實驗室
原著序
計算智能（CI）。技術典範（Paradigm）,概述了流行和常用的模型，適用於剛進入計算智能的初學者和大三的教材。
六大部分如下：
- 第Ⅰ部分：不同計算範例歷史回顧
- 第Ⅱ部分：人工神經網絡
- 神經網絡基礎的人工神經元、激活函數、神經元幾何結構、學習規則
- 監督學習、前饋神經網絡、功能聯結神經網絡、乘積單元神經網絡、級聯神經網絡、回饋升級網絡，監督學習算法：梯度下降法、共軛梯度法、蛙跳、粒子羣優化
- 非監督學習：學習向量量化、自組織特徵圖
- 徑向基函數神經網絡
- 增強學習
- 監督網絡的性能問題
- 第Ⅲ部分：進化計算
- 進化計算過程及其基本算子
- 遺傳算法
- 遺傳編程
- 進化規劃
- 進化策略
- 查分進化
- 文化算法
- 協同進化
- 第Ⅳ部分：羣體模型
待補充~
第Ⅰ部分 引言
第1章 計算智能介紹
提出設問？什麼是智能？（理解能力，從經驗總獲益，思考，推理能力）
阿蘭~圖靈，計算機智能測試——圖靈測試（提問不能分辨人和機器）
現在——能做人類正在做的事，做的更好
智能計算——智能行爲在複雜和變換環境中能夠實現自適應機制
1.1計算智能典型方法
軟計算——計算智能方法和概率方法的幾何——>混合系統
1.1.1人工神經網絡
人腦（複雜、非線性，並行），【好厲害的樣子，(#^.^#)】估計有100億~5000億神經元
應用：語音識別、數據挖掘、音樂創作、圖像處理、預測、機器人控制、遊戲策略，信用認證
人工神經元（AN）建模生物神經元(BN)，輸入信號加權
- 單層神經網絡
- 多層前饋神經網絡
- 時間神經網絡
- 自組織神經網絡
- 組合的監督與非監督的神經網絡
1.1.2進化計算
適者生存，弱者淘汰，通過繁殖，繼承優良基因，生存競爭。
應用：數據挖掘、組合優化、故障診斷、分類、聚類、行程安排、時間序列逼近
個體（染色體）
特性（基因）
交叉（繁殖）
選擇（淘汰）
適應度函數
基本有一下幾種類型：
- 遺傳算法
- 遺傳編程
- 進化規則
- 進化策略
- 差分進化
- 文化進化
- 協同進化
1.1.3羣體智能
粒子羣算法：研究鳥優雅而不可預測的飛行
1.1.4人工免疫系統
奇特的模式匹配能力
主要有以下4種
- 免疫系統傳統觀點
- 克隆選擇理論
- 危險理論
- 網絡理論
1.1.5模糊系統
某些女生能夠用大多數語言進行交流。進行模擬推理。
基於常識建模
應用：控制系統、家用電器、控制交通信號燈。
1.2簡短歷史
第Ⅱ部分
人工神經網絡
效率和解決複雜問題
分類：預測輸入向量的類別
模式匹配，產生一個最佳關聯給定輸入向量的模式
模式完善。
優化
控制
函數擬合/時間序列建模
數據挖掘
第2章 人工神經元
實現了一個非線性映射，映射區間取決於使用的激活函數
2.1計算網絡輸入信號
一個人工神經元網絡輸入信號爲計算所有輸入信號的加權和。
2.2激活函數
接受網絡輸入信號和偏執，決定神經元的輸出（激活強度）
特性：
單調遞增映射、
常見的激活函數
2.3人工神經元幾何構型
單個神經元可以被用來實現沒有任何錯誤的線性可分函數。可以分隔I維輸入向量的空間。即是：通過一個I維超平面將一個超過閾值的響應和低於閾值的響應分隔開。超平面構成了輸入向量的便捷，改變街關聯兩個輸出值。下圖是斜坡函數神經元的決策邊界
非線性可分佈爾函數，異或函數的例子，需要兩個輸入單元，兩個隱層單元和一個輸出單元
2.4人工神經元學習
仍需要回答的一個問題，是否存在一個自動的方法確定權值vi和閾值sita,就是通過學習計算權值和閾值，知道得到一個特定的準則。
三種主要的學習方法：
- 監督學習（將向神經元提供一個由輸入向量構成的數據集，每一個輸入向量關聯一個目標（期望輸出），即是訓練集，監督學習的目標即是調整權值使得神經元的真是輸出和目標輸出之間的誤差最小）
- 無監督學習（無外在輔助的情況下，發掘輸入數據的特徵和模式，是對訓練模式執行一個聚類）
- 增強學習（對性能良好的神經元給予獎勵，對性能不佳的神經元給予懲罰）
不同學習類型，有着不同學習規則，下面我們在研究學習規則之前，研究如何簡化模型。
2.4.1增廣向量
一個人工神經元包括：權重向量，閾值，和激活函數。
爲簡化學習方程，輸入向量被增廣使其包含一個稱爲偏執單元的額外輸入單元zi+1值總爲-1
權重爲閾值，人工神經元網絡輸入信號（求和單元）
2.4.2梯度下降學習規則
梯度下降最常用的訓練神經元的方法，梯度下降定義一個誤差（目標）函數衡量逼近神經元的誤差，平方誤差
2.4.3 Widrow-Hoff學習規則
2.4.4廣義delta學習規則
2.4.5誤差修正學習規則
第3章 監督學習神經網絡
單個神經元學習函數類型有限制，單個可用於線性可分函數，需要學習非線性可分函數時，需要訓練分層神經元網絡。可以有三種訓練的學習。第一種，監督學習。
這個學習需要訓練集，將向神經元提供一個由輸入向量構成的數據集，每一個輸入向量關聯真實一個目標（期望輸出），即是訓練集，監督學習的目標即是調整權值使得神經元的真實輸出和目標輸出之間的誤差最小。
輸入向量
目標向量
標準多層神經網絡、函數鏈神經網絡、簡單反饋神經網絡、時延神經網絡、乘積單元神經網絡、級聯神經網絡
介紹+學習規則+集成神經網路
3.1神經網絡的類型
3.1.1前饋神經網絡
3層，輸入層，一個隱層，一個輸出層，一個前饋神經網絡可以有多個隱層。可以在輸入層和輸出層直接建立線性連接。
3.1.2函數鏈神經網絡
3.1.3乘積單元神經網絡
3.1.4簡單反饋神經網絡
3.1.5時延神經網絡
3.1.6級聯神經網絡
3.2監督學習規則
神經網絡可以計算一個給定輸入模式下的輸出。闡述一些訓練神經網絡的方法，可以使得輸出是一個對目標值的精確逼近。
下面解釋一下學習問題。描述不同的訓練算法。
3.2.1 監督學習問題
分成訓練集合、驗證集合、測試集合。
- 局部最優（陷入局部最優，無法找到全局最優值）梯度下降和共軛梯度都是局部最優的例子
- 全局最優化：通常在搜索空間裏更大範圍進行搜索，包括——蛙跳、模擬退火、進化算法，羣體優化。
兩者可以結合構成混合算法
直到達到一個可以接受的經驗誤差。關於合適更新權值，有兩類監督學習算法。
- 隨機/在線學習：每當一個模式出現之後就對權值進行調整。這個輕快你給下，在訓練集中隨機選擇下一個模式，方式在訓練集中出現的順序的偏差。
- 批/離線學習：權值的改變被積累並且僅當給出所有的訓練模式後才使用積累變化的對權值進行調整。
3.2.1梯度下降優化
梯度下降導出了一個流行的學習算法。Werbos推廣的反向傳播，學習迭代分爲以下兩個階段。
- 前饋傳遞：每一個訓練模式簡繁計算輸出值
- 反向傳播：從輸出層到輸入層反向傳播一個誤差信號，權值作爲反向傳播誤差信號函數進行調整。
- 前饋神經網絡
- 乘積單元神經網絡