Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection
ATSS爲CVPR2020中的一篇論文，論文題目如上所示，大體意思爲通過自適應選擇訓練樣本來彌補基於錨和無錨檢測器的差距。因爲目前大多數目標檢測成果都是在anchor-based的基礎上產生的，但之前剛好讀過anchor-free的論文FCOS，意識到anchor-free也是有很大的優勢的，所以剛好藉此機會更加深入的瞭解這兩種檢測方法的本質區別，同時學習下作者的改進。
- 研究內容
近年來，anchor-based檢測器一直主導着目標檢測，同時anchor-free檢測器由於FPN和Focal Loss的引入而受到廣泛關注。本文首先指出anchor-based檢測與anchor-free檢測的本質區別是在於如何定義正、負訓練樣本，從而導致兩者之間的性能差距。如果他們在訓練中對正樣本和負樣本採用相同的定義，無論從一個anchor還是一個point迴歸，最終的表現都沒有明顯的差異。由此可見，如何選取正、負訓練樣本對當前目標檢測具有重要意義。然後，作者提出了一種自適應訓練樣本選擇(ATSS)，根據目標的統計特徵自動選擇正樣本和負樣本。它顯著地提高了anchor-based和anchor-free檢測器的性能，並彌補了兩者之間的差距。最後，作者闡釋了在圖像上每個位置平鋪多個anchor點來檢測目標的必要性。
- 研究方法
由於本篇論文主要就是研究anchor-based和anchor-free算法之間的關係，因此研究的切入點就在於基於anchor-based和anchor-free的目標檢測算法之間的效果差異到底是什麼原因造成的。作者分別選了2個代表性算法進行探究：RetinaNet和FCOS，二者在COCO數據集上的mAP分別是32.5和37.8，差距還是比較大的。
作者首先分析了RetinaNet和FCOS在算法上的差異，大體上分爲三點，一是RetinaNet在特徵圖上每個點設置多個anchor，而FCOS在特徵圖上每個點只設置一箇中心點，這是數量上的差異；二是RetinaNet基於anchor和GT之間的IOU和設定的閾值來確定正負樣本，而FCOS通過GT中心點和鋪設點之間的距離和尺寸來確定正負樣本。如文中圖一所示，牛所在的圖像中，藍框和點表示GT，紅框表示RetinaNet的anchor，紅點表示FCOS設置的點，左右表格表示最終確定的正負樣本，0是負樣本，1是正樣本；三是RetinaNet通過迴歸矩形框的2個角點偏置進行預測框位置和大小的預測，而FCOS是基於中心點預測四條邊和中心點的距離進行預測框位置和大小的預測。如文中圖二所示，藍色框和點表示GT，紅色框表示RetinaNet的正樣本，紅色點表示FCOS的正樣本。
圍繞這三點主要差異，作者通過統一兩個方法中正負樣本的比例、統一使用相同的訓練方法技巧，盡力做到公平對比，最終RetinaNet的mAP達到37.0，與FCOS的37.8很接近。接着分析最終的0.8mAP的差異，作者通過對比數據發現，迴歸方式的不同不是造成效果差異的原因，而如何確定正負樣本纔是造成差異的真正原因。
確定造成差異的根源是正負樣本的選擇問題後，作者提出了ATSS來自適應的選取正負樣本。具體方法爲首先對於每個輸出的檢測層，先計算每個anchor的中心點和目標的中心點的距離，選取K個anchor中心點離目標中心點最近的anchor爲候選正樣本；接着計算每個候選正樣本和真實框之間的IOU，計算這組IOU的均值和方差；接着根據均值和方差設置選取正樣本的閾值；根據每一層的閾值從候選正樣本中選出真正需要加入訓練的正樣本，最終進行訓練。
- 優缺點
優點：
（1）通過細緻的實驗對比指出了anchor-based檢測與anchor-free檢測的本質區別實際上是如何定義正負樣本；
- 提出了一種自適應訓練樣本選擇（ATSS），根據目標的統計特徵自動選擇正樣本和負樣本；
- 論述了在圖像上每個位置平鋪多個anchor點來檢測目標的必要性；
- 減少了超參數的使用，對anchor的尺寸、寬高比、數據比較魯棒；
- ATSS中根據不同層的特性對不同層的閾值進行了微調，這導致了更好的檢測效果。
缺點：
ATSS中的A表示adaptive，也就是自適應的意思，也就是說正負樣本是可以自動確定的，但實際上實驗中還使用了少量超參數，比如K，離真正做到自適應還有一定的距離，同時關於閾值的確定有比較多的先驗知識。