文章目錄
- 第一章 神經網絡的思想
- 1-1 神經網絡和深度學習
- 1-2 神經元工作的數學表示
- 1-3 激活函數：將神經元的工作一般化
- 1-4 什麼是神經網絡
- 1-5 用惡魔來講解神經網絡的結構
- 1-6 將惡魔的工作翻譯成神經網絡的語言
- 1-7 網絡自學習的神經網絡
- 第二章 神經網絡的數學基礎
- 2-1 神經網絡所需的函數
- 2-2 有助於理解神經網絡的數列和遞推關係式
- 2-3 神經網絡中經常用到的Σ符號
- 2-4 有助於理解神經網絡的向量基礎
- 2-5 有助於理解神經網絡的矩陣基礎
- 2-6 神經網絡的導數基礎
- 2-7 神經網絡的偏導數基礎
- 2-8 誤差反向傳播法必須的鏈式法則
- 2-9 梯度下降法的基礎
- 2-10 梯度下降法的含義與公式
- 2-11 用Excel體驗梯度下降法（改成用python體驗）
- 2-12 最優化問題和迴歸分析
- 第三章 神經網絡的最優化
- 第四章 神經網絡和誤差反向傳播法
- 第五章 深度學習和卷積神經網絡
- 5-1 小惡魔來講解卷積神經網絡的結構
- 5-2 將小惡魔的工作翻譯爲卷積神經網絡語言
- 5-3 卷積神經網絡的變量關係式
- 5-4 用Excel體驗卷積神經網絡
- 5-5 卷積神經網絡和誤差反向傳播法
- 5-6 用Excel體驗卷積神經網絡的誤差反向傳播法
- 附錄
第一章 神經網絡的思想
1-1 神經網絡和深度學習
神經元的“點火”、
1-2 神經元工作的數學表示
神經元固有邊界值（閾值）、神經元信號傳遞（點火）、權重
1-3 激活函數：將神經元的工作一般化
神經單元（unit）、激活函數（activation function）、sigmoid函數、單位階躍函數、線性整流函數（relu）、偏置（bias）
1-4 什麼是神經網絡
神經網絡、階層型神經網絡（BP神經網絡 back propagation）、卷積神經網絡、層（layer）、輸入層、隱藏層（中間層）、輸出層、全連接層（fully connected layer 指前一層的神經單元與下一層的所有神經單元都有箭頭連接）
1-5 用惡魔來講解神經網絡的結構
隱藏層肩負着特徵提取（feature extraction）的重要職責
1-6 將惡魔的工作翻譯成神經網絡的語言
1-7 網絡自學習的神經網絡
網絡自學習算法、學習數據、學習、模型的最優化（確定使得誤差總和達到最小的權重和偏置 ）、代價函數（預測值與正解的誤差的平方的總和）、最小二乘法、迴歸分析、
第二章 神經網絡的數學基礎
2-1 神經網絡所需的函數
一次函數、斜率、截距、一次函數關係、誤差反向傳播法、函數、自變量、因變量、二次函數、最小二乘法、單位階躍函數、指數函數（底數、納皮爾數e）、正態分佈（期望值、平均值、標準差）、標註正態分佈、正態分佈隨機數（在神經網絡的計算中，經常用到正態分佈隨機數作爲初始值）
2-2 有助於理解神經網絡的數列和遞推關係式
計算機不擅長導數計算，但擅長處理遞推關係式、數列（項、首項、有窮數列、末項、通項公式、遞歸定義、遞推關係式）、聯立遞推關係式
2-3 神經網絡中經常用到的Σ符號
2-4 有助於理解神經網絡的向量基礎
有向線段（起點、終點）、向量（位置、方向、大小）、向量是具有大小和方向的量，用箭頭表示、向量的座標表示、內積、梯度下降法、卷積神經網絡、通過內積可以知道兩個向量的相對的相似度、張量tensor、應力張量
2-5 有助於理解神經網絡的矩陣基礎
矩陣（行、列、方陣、行向量、列向量、向量、元素、單位矩陣、矩陣的和、矩陣的差、矩陣的常數倍、矩陣的乘積、Hadamard乘積、轉置矩陣）
2-6 神經網絡的導數基礎
導函數、求導、可導、導數的線性性（和的導數爲導數的和，常數倍的導數爲導數的常數倍）、增減表、Sigmoid函數及其導數（、）
2-7 神經網絡的偏導數基礎
多變量函數、偏導數、拉格朗日乘數法
2-8 誤差反向傳播法必須的鏈式法則
鏈式法則（複合函數求導公式）、複合函數、單變量函數的鏈式法則（導數可以像分數一樣進行計算）、多變量函數的鏈式法則
2-9 梯度下降法的基礎
單變量函數的近似公式、多變量函數的近似公式、近似公式的向量表示、泰勒展開式
2-10 梯度下降法的含義與公式
尋找最小值點的方法——梯度下降法（最速下降法）、二變量函數的梯度下降法的基本式、梯度（gradient，最陡的坡度方向）、哈密頓算子、位移向量、正的微小常數（步長、學習率【它的確定方法沒有明確的目標，只能通過反覆試驗來尋找恰當的值】）