爲什麼不能將權重初始值設爲0

因爲在誤差反向傳播法中，所有的權重值都會進行相同的更新。

比如，在2層神經網絡中，假設第1層和第2層的權重爲0。這樣一來，正向傳播時，因爲輸入層的權重爲0，所以第2層的神經元全部會被傳遞相同的值。第2層的神經元中全部輸入相同的值，這意味着反向傳播時第2層的權重全部都會進行相同的更新。

因此，權重被更新爲相同的值，並擁有了對稱的值（重複的值）。這使得神經網絡擁有許多不同的權重的意義喪失了。爲了防止“權重均一化”（嚴格地講，是爲了瓦解權重的對稱結構），必須隨機生成初始值。