CVPR 2019 ATOM:《ATOM: Accurate Tracking by Overlap Maximization》論文筆記

理解出錯之處忘不吝指正。

簡介

本文是MD在ECO系列之後的新paper，CVPR2019的oral，文章質量很高。
文章鏈接
代碼鏈接

動機

目前，目標跟蹤領域的研究重點集中於分類準確度，這導致目標分類效果好的模型，目標估計（target state estimation）低於預期，相反一些以前的模型能夠獲得更好的目標估計效果，但這些模型的目標分類效果差。

貢獻

1. 本文提出了一種新穎的跟蹤架構，由目標估計和目標分類兩部分組成。
2. 在目標估計網絡部分引入了IoU-Net（出自ECCV2018），使損失更加合理。
3. 目標分類網絡使用深度迴歸網絡，由兩個全卷積層組成，並提出新的專用在線訓練的優化算法。
4. 在新的大型TrackingNet數據集上，ATOM相對於之前的最佳方法實現了15％的相對增益，同時運行速度超過30 FPS。

方法

本文方法的整體架構如下圖所示，其實較爲主要的是兩部分，藍色的IoU Modulation+藍色的IoU Predictor可以統稱爲目標估計網絡，綠色的Classifier即爲目標分類網絡。

目標估計網絡用於輸出當前幀的bbox的IoU，使用IoU-Net+Siamese架構得到，具體的如下圖所示。其中，PrPool是IoU-Net中提出的，如下下圖所示。文中提到，直接使用Siamese的架構無法得到很好的效果，作者提出了基於調製（Modulation）的方法。關於這裏的“調製”，我的個人理解是，由於直接使用Siamese架構不能得到很好的結果，我們可以將Reference Branch的特徵進行一下變化，使其能夠“適應”Test Branch的“信道”。


由於目標估計網格的判別能力不足，故引入目標分類網絡。這部分本文使用了兩層卷積，直接回歸出以目標爲中心的高斯label，且使用online training實現target-specific。但是使用梯度下降法收斂速度過慢，作者將問題轉化爲了高斯-牛頓最優化問題，可以使用共軛梯度法解決。具體步驟如下：

可以看下，本文的online training方法和梯度下降的比較。

具體的跟蹤流程爲：

• 使用目標分類網絡計算置信度，置信度最高的位置記爲$(x, y)$，使用$(x, y)$+上一幀目標的$w$和$h$作爲初始跟蹤結果$B$。
• 基於$B$生成10個候選bbox，利用目標估計網絡計算它們的IoU，取前三個作爲候選結果。
• 將三個候選結果取均值，得到最終跟蹤結果。

實驗

首先是消融實驗，Multi-Scale代表多尺度搜索方法；No Classif.代表無在線目標分類分支；GD是梯度下降，和本文優化方法的“反向傳播”調用次數相同，即運算速度相同，同時GD的學習率和動量參數經過精心調整；GD++是5倍運算量版的梯度下降；No HN代表沒有難負樣本。

接下來，是在NFS和UAV123數據集上的實驗結果：

在TrackingNet數據集上的實驗結果：

在LaSOT數據集上的實驗結果：

在VOT2018上的實驗結果：