綜述
一般來說,使用WN的網絡容量是要大於普通神經網絡的。
如何理解網絡的容量:一般來說,神經網絡的參數對應着一組函數:函數集。我們之所以能夠使用一個神經網絡來逼近(擬合)某個目標函數是因爲這個函數集包含了我們想要擬合的目標函數。這裏容量就是神經網絡表示函數集要包含目標函數。 顯然大的容量才讓我們的搜索有保障。
理論上已經證明足夠多層的神經網絡是可以擬合任何函數的。但是,實踐中,我們網絡的層數不可能是那麼的多,而且層數增多訓練壓力也變大,效果變差。後來出現了ResNet等技術等爲深層網絡的訓練提供了支持。