激活函數不能使用線性函數。爲什麼不能使用線性函數呢？因爲使用線性函數的話，加深神經網絡的層數就沒有意義了。
線性函數的問題在於，不管如何加深層數，總是存在與之等效的“無
隱藏層的神經網絡”。爲了具體地（稍微直觀地）理解這一點，我們來思
考下面這個簡單的例子。這裏我們考慮把線性函數 h(x) = cx 作爲激活
函數，把y(x) = h(h(h(x)))的運算對應3層神經網絡 A。這個運算會進行
y(x) = c × c × c × x的乘法運算，但是同樣的處理可以由y(x) = ax方
（注意，a = c三次方）這一次乘法運算（即沒有隱藏層的神經網絡）來表示。
使用線性函數時，無法發揮多層網絡帶來的優勢。因此，爲了發揮疊加層所帶來的優勢，激活函數必須使用非線性函數。