深度學習系列——4、卷積神經網絡

卷積神經網絡（Convolutional Neural Networks, CNN）是一類包含卷積計算且具有深度結構的前饋神經網絡（Feedforward Neural Networks），是深度學習（deep learning）的代表算法之一 [1-2] 。卷積神經網絡具有表徵學習（representation learning）能力，能夠按其階層結構對輸入信息進行平移不變分類（shift-invariant classification），因此也被稱爲“平移不變人工神經網絡（Shift-Invariant Artificial Neural Networks, SIANN）” [3] 。
對卷積神經網絡的研究始於二十世紀80至90年代，時間延遲網絡和LeNet-5是最早出現的卷積神經網絡 [4] ；在二十一世紀後，隨着深度學習理論的提出和數值計算設備的改進，卷積神經網絡得到了快速發展，並被應用於計算機視覺、自然語言處理等領域 [2] 。
卷積神經網絡仿造生物的視知覺（visual perception）機制構建，可以進行監督學習和非監督學習，其隱含層內的卷積核參數共享和層間連接的稀疏性使得卷積神經網絡能夠以較小的計算量對格點化（grid-like topology）特徵，例如像素和音頻進行學習、有穩定的效果且對數據沒有額外的特徵工程（feature engineering）要求