沒有激活函數，存在某個單層神經網絡等價於多層神經網絡的證明

給定一個小批量樣本，其批量大小爲n，輸入個數爲d。假設多層感知機只有一個隱藏層，其中隱藏單元個數爲h。記隱藏層的輸出（也稱爲隱藏層變量或隱藏變量）爲，有。因爲隱藏層和輸出層均是全連接層，可以設隱藏層的權重參數和偏差參數分別爲和 ，輸出層的權重和偏差參數分別爲和。

我們先來看一種含單隱藏層的多層感知機的設計。其輸出的計算爲

,

也就是將隱藏層的輸出直接作爲輸出層的輸入。如果將以上兩個式子聯立起來，可以得到

從聯立後的式子可以看出，雖然神經網絡引入了隱藏層，卻依然等價於一個單層神經網絡：其中輸出層權重參數爲，偏差參數爲。不難發現，即便再添加更多的隱藏層，以上設計依然只能與僅含輸出層的單層神經網絡等價。

reference

1.https://zh.d2l.ai/chapter_deep-learning-basics/mlp.html#