深度神經網絡（DNN）：卷積神經網絡（CNN）之激活函數大全

卷積神經網絡中激活函數，理論上可以是線性函數：例 但是在模型中一般選用非線性的激活函數。

(1)sigmoid函數：

(2)雙曲正切函數：

(3)硬限幅函數

(4)斜面函數

（5）修正線性單元函數（ReLU）

（6）滲漏修正線性單元（LReLU）{a屬於(0,1)，若a隨機生成則爲PReLU}

（7）參數修正線性單元（PReLU）{a<=1,爲可調參數}

（8）指數線性單元（ELU）{a>=0,爲可調參數}

（9）軟加函數（softplus）

（10）最大輸出函數（maxout）

（11）軟最大輸出函數（softmax）