神經網絡的容量問題

綜述

一般來說,使用WN的網絡容量是要大於普通神經網絡的。

如何理解網絡的容量:一般來說,神經網絡的參數對應着一組函數:函數集。我們之所以能夠使用一個神經網絡來逼近(擬合)某個目標函數是因爲這個函數集包含了我們想要擬合的目標函數。這裏容量就是神經網絡表示函數集要包含目標函數。 顯然大的容量才讓我們的搜索有保障。

理論上已經證明足夠多層的神經網絡是可以擬合任何函數的。但是,實踐中,我們網絡的層數不可能是那麼的多,而且層數增多訓練壓力也變大,效果變差。後來出現了ResNet等技術等爲深層網絡的訓練提供了支持。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章