在神經網絡訓練中，模型參數越多，雖然越容易導致過擬合，但是也可以容易的訓練。在進行transfer learning時，可以看出過參數化是網絡可以成功的關鍵。
論文中這一段很有意思，拿出來跟大家分享一下。主要意思是醫學圖像和自然圖像 差別很大。直接用自然圖像的權重作爲一個預訓練作用大不大。其實我個人在做醫學圖像分割實驗 時候，基本都不用resnet 之類作爲預訓練，除了使用resnet 之類網絡會使得整個模型擴大以後，我也一直懷疑這個意思。其實在加入了預訓練權重以後，可以發現網絡收斂的速度相比於隨機初始化的速度要快一點。
The Utility of Feature Reuse和Transfusion這兩篇論文討論了這些問題。