Caffe:深度學習中 epoch,[batch size], iterations的區別


 在大部分深度學習架構中都拋不開三個概念epoch,[batch size], iterations;接下來就對這三個概念逐一解釋一下


one epoch:所有的訓練樣本完成一次Forword運算以及一次BP運算

batch size:一次Forword運算以及BP運算中所需要的訓練樣本數目,其實深度學習每一次參數的更新所需要損失函數並不是由一個{data:label}獲得的,而是由一組數據加權得到的,這一組數據的數量就是[batch size]。當然batch size 越大,所需的內存就越大,要量力而行

iterations(迭代):每一次迭代都是一次權重更新,每一次權重更新需要batch size個數據進行Forward運算得到損失函數,再BP算法更新參數。


最後可以得到一個公式 one epoch = numbers of iterations = N = 訓練樣本的數量/batch size  

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章