一、問題
MNIST手寫體數字識別，訓練數據60000，測試數據10000。
輸入：MNIST手寫體圖片，28*28像素轉化爲784維向量
輸出：圖片爲第i類數字的概率
二、模型中重要的四個概念
1.全連接：每個神經元都與上一層所有神經元相連
缺點：參數太多，沒有利用像素之間的信息
2.激活函數：線性激活函數每層輸出都是上層輸入的一個線性組合，也可以定義非線性激活函數y=f(Wx)
3.卷積：濾波器又稱卷積核，與二維圖像做卷積操作來提取特徵
主要特徵：局部連接與權重共享，使需要學習的參數大大減少，有利於訓練較大的卷積神經網絡
4.池化：非線性下采樣的一種形式，包括最大池化，平均池化
三、三種模型
1.softmax迴歸模型：將輸入層通過全連接得到的特性，通過softmax激活函數進行分類輸出
激活函數可以採用relu(x)=max(0,x)，它速度快，並且能夠緩解梯度消失
2.多層感知模型：將輸入層連續經過兩個全連接隱層，經過輸出層softmax函數進行分類
3.卷積神經網絡：包含卷積層+池化層，儘可能保留重要的數據，去除多餘的數據