Classic networks：
- LetNet-5 1980
- AlexNet
- VGG
ResNet
Inception
LetNet-5
AlexNet
AlexNet 採用的多GPU運行。
VGG-16
在這之前模型結構中卷積層的輸入圖像都沒有進行Padding。
在這裏[CONV 64] * 2 代表有兩個卷積層然後在接後面的池化層。該網絡共有16個權重層（卷積層＋全鏈接層）
ResNet
越深的網絡，訓練起來越困難，會遇見梯度消失或者梯度爆炸的問題，所以ResNet 引入了跳躍連接(skip connection)。
ResNet 是由多個 Residual block 構成的，那麼什麼是 Residual block 呢？見下圖。
那麼殘差網絡（ResNet）與傳統卷積網絡（Plain Network）相比，效果如何，如圖：
對於傳統CNN：理論上，隨着網路層數的增加，訓練誤差應該越來越低，如圖（左下角）綠色實線所示；但是，在實踐中隨着網絡層數的增加，當訓練誤差降低到一定程度後，不但不降低，反而越來越大，如圖（左下角）藍色實線所示。