神經網絡的深度決定什麼？ （提取特徵的能力，提取特徵的抽象程度，他是由於反向的梯度更新決定的，權重更新次數和網絡的層數是有關的）
每層神經元的個數決定的是（該網絡的非線性能力）
網絡設計深更利於特徵提取，但是會有梯度消失（反向時每層神經網絡連乘），梯度彌散。
相應的何凱明提出了，殘差網絡，作用是保證後面的反向過程的網絡層梯度不爲零，反向時加輸入值
卷積空間層面（理解爲圖片rgb的每一層）的是局部連接，在通道上面是全連接，所以可以使用分組，將通道分組，來減少全連接計算。分組只能影響通道上的計算，空間層面不影響。 分組和通道數一樣，速度是最快的，稱作深度卷積，但是這樣造成了數據未融合，所以產生了通道混洗（[N,C,H,W]-->[N, g, C/g, H,W]-->[N,C/g,g,H,W]-->[N,C,H,W]，g分組）。
分組卷積最早是在alexnet上提出，其實分佈式原理，單機計算力問題
分組卷積要注意的是，保證輸入和輸出channel 能被組數整除
一個卷積覈對應一個輸出特徵圖，但是卷積核的層與輸入通道對應的，輸入4通道，會有4個卷積層對應，每層的數據運算結束後，最後會用全連接的形式生成輸出特徵圖。 每一層上都有各自的卷積權重（不參加反向計算）,
1*1的卷積核（逐點卷積）是不能做特徵提取的，他是做通道融合, 同時降低計算量。對wh沒變化，但是對c做操作