【caffe】caffe之SGD solver

理論介紹

上式中，L(w) 爲前向loss，N爲一個mini-batch的batchsize，fw(x(i)) 是單個輸入數據x(i) 的輸出loss，λ 是正則項的權重，在caffe中是weight_decay，r(w) 是一個關於參數w 的正則項，在caffe中默認爲L2正則項，即r(w)=w2 。

在caffe中，forward只有前面一項，正則項是反向更新的時候才加上的。

上面一式中，Vt 爲更新的歷史情況，在caffe中保存在history blob中，μ 爲動量，▽L(Wt) 爲loss導數，α 爲學習率。二是中，即爲對權重進行更新。

SGD solver

任何一個solver的對權重進行更新時都要完成一次forward和backward。在solver.cpp中完成這一步的函數是step()。

template <typename Dtype>
void Solver<Dtype>::Step(int iters) {
......
      for (int i = 0; i < param_.iter_size(); ++i) {
      loss += net_->ForwardBackward();//執行網絡的forward和backward
    }
    ......
    ApplyUpdate();//更新參數
    ......

執行完forward和backward後，就是對參數的更新，ApplyUpdate()函數完成這一操作。ApplyUpdate()函數是個虛函數，因此不同的solver可以實現不同的更新策略。在SGD中，主要有歸一化、正則化、計算更新量、更新這四個函數。

template <typename Dtype>
void SGDSolver<Dtype>::ApplyUpdate() {
    ......
  ClipGradients();
  for (int param_id = 0; param_id < this->net_->learnable_params().size();
       ++param_id) {
    Normalize(param_id);//歸一化
    Regularize(param_id);//正則化
    ComputeUpdateValue(param_id, rate);//計算更新量
  }
  this->net_->Update();//更新
}

假設爲L2正則化，正則項的導數爲w

template <typename Dtype>
void SGDSolver<Dtype>::Regularize(int param_id) {
      ......
      if (regularization_type == "L2") {
        // add weight decay
        caffe_axpy(net_params[param_id]->count(),
            local_decay,
            net_params[param_id]->cpu_data(),
            net_params[param_id]->mutable_cpu_diff());//diff=diff + decay * w
      } 
      ......
}

然後計算更新量，並保存

template <typename Dtype>
void SGDSolver<Dtype>::ComputeUpdateValue(int param_id, Dtype rate) {
......
  // Compute the update to history, then copy it to the parameter diff.
  switch (Caffe::mode()) {
  case Caffe::CPU: {
   //history = momentum * history + diff * learning_rate
    caffe_cpu_axpby(net_params[param_id]->count(), local_rate,
              net_params[param_id]->cpu_diff(), momentum,
              history_[param_id]->mutable_cpu_data());
    caffe_copy(net_params[param_id]->count(),//diff = history
        history_[param_id]->cpu_data(),
        net_params[param_id]->mutable_cpu_diff());
    break;
  }
  ......
  default:
    LOG(FATAL) << "Unknown caffe mode: " << Caffe::mode();
  }
}

最後對整個網絡權重進行更新

this->net_->Update();

整個網絡的更新其實就是w-diff，在net.cpp中調用

template <typename Dtype>
void Net<Dtype>::Update() {
  for (int i = 0; i < learnable_params_.size(); ++i) {
    learnable_params_[i]->Update();//w-diff
  }
}

這裏其實就是調用了blob的update進行更新。