目標跟蹤中對干擾項敏感的暹羅網絡
摘要
最近，暹羅網絡(Siamese network)因其平衡的準確性和速度而備受視覺跟蹤領域的關注。但是，大多數暹羅跟蹤方法中使用的特徵只能區分前景和非語義背景。語義背景始終被視爲干擾因素，這阻礙了暹羅跟蹤器的穩健性。在本文中，我們着重於學習可識別干擾因素的暹羅網絡，從而實現準確的長時間跟蹤。爲此，首先分析了傳統暹羅跟蹤器中使用到的特徵。我們觀察到訓練數據的分佈不平衡使得學習到的特徵不具有好的描述性。在線下訓練階段，引入了有效的採樣策略來控制分佈，並使模型關注到語義干擾項。在推論過程中，設計了一種新穎的干擾敏感的，可以通用有效地嵌入到視頻領域的模塊來執行增量學習。此外，我們提出了簡單而又有效的從局部到全局的區域搜索策略來進行長時間跟蹤。在基準上進行的大量實驗表明，我們的方法明顯優於最新技術，在VOT2016數據集中的相對增益爲9.6％，在UAV20L數據集中的相對增益爲35.9％。提出的跟蹤器可以160 FPS的速度執行短期基準，以110 FPS執行長期基準。
項目地址：https://github.com/foolwood/DaSiamRPN
關鍵詞： 視覺跟蹤，干擾敏感，暹羅網絡
1 介紹
視覺目標跟蹤，在變化的視頻序列間自動定位目標。這是很多計算機視覺主題中的基礎問題。例如視覺分析，自動駕駛和位姿估計。跟蹤的核心問題是如何在具有挑戰性的場景中準確有效地檢測和定位對象，像
遮擋，移出視野，形變，背景雜亂等其他情況。
最近，通過比較相似度進行跟蹤的暹羅網絡由於其良好的性能，得到了極大的關注。 SINT，GOTURN ，SiamFC和RASNet 通過前期學習一個深度暹羅相似性函數，並將其在運行時用於固定模式。. CFNet和 DSiam可以在線更新跟蹤模型通過分別運行一個平均模板和快速轉換學習模型。SiamRPN 在暹羅網絡後引入了待選區域網絡從而將跟蹤變爲一個單樣本局部檢測任務。儘管這些跟蹤方法獲得了平衡的準確性和速度，但仍應該解決3個問題：首先，大多數暹羅跟蹤方法只能將前景與非語義背景區分開。語義背景始終被視爲干擾因素，並且當背景雜亂時性能無法保證。其次，大多數暹羅跟蹤器不能更新模型，儘管它們的簡單固定的模型帶來了高速，這些方法喪失了在線更新模型外觀的能力，而這對於跟蹤場景急劇變化時往往很關鍵。最後，近期的暹羅跟蹤器採用一個局部搜索策略，這沒法應對全遮擋和移出視野等挑戰。
在本文中，我們提出了通過學習對干擾物敏感的暹羅待選區域網絡（DaSiamRPN），可進行準確的長期跟蹤。 SiamFC使用加權損失函數消除了正負類的不平衡例子。但是，由於訓練程序仍然以易於分類的背景示例爲主，因此效率低下。在本文中，我們確定了訓練中非語義背景和語義干擾因素的不平衡數據是表示學習的主要障礙。如圖1所示SiamFC上的響應圖無法區分人，即使穿着白色連衣裙的運動員也能與目標人保持高度相似性。高質量的訓練數據對於端到端學習跟蹤器的成功至關重要。我們得出結論，表示網絡的質量在很大程度上取決於訓練數據的分佈。除了引入現有的大規模檢測數據集的正樣本，我們顯式生成了多種語義訓練過程中出現負樣本。爲了進一步增強判別，開發了針對視覺跟蹤定製的有效數據增強策略。離線訓練後，表示網絡可以很好地推廣到大多數類別的對象，這使得跟蹤一般目標成爲可能。在推理過程中，經典的暹羅跟蹤器僅使用最近鄰居搜索匹配正模板。當目標模板經歷明顯的外觀變化和背景混亂，尤其，在上下文中存在相似外觀的對象（干擾因素）使得跟蹤任務更加艱鉅。爲了解決這個問題，周圍的環境和時間信息可以提供有關目標的線索，並最大化辨別能力。在本文中，一種新穎的干擾敏感的DaSiameseRPN 3模塊，可以有效地將嵌入轉移到當前視頻域並在推導過程中逐步捕獲目標外觀變化。
此外，最新的跟蹤器是針對短期情況而量身定製的，面對長期跟蹤，這些方法只專注於短片幾十秒的時間序列，很難滿足從業者的需要。除了短期跟蹤中的挑戰性情況外，嚴重移出視線和完全遮擋都會在長期跟蹤中帶來額外的挑戰。一直以來傳統的暹羅跟蹤器缺乏判別特徵，並採用局部搜索區域，他們無法應對這些挑戰。受益於DaSiamRPN中學習到的干擾敏感特徵，我們通過引入一種簡單而有效的局部到全局搜索區域策略，拓展了長期跟蹤方法。 這顯着改善了我們的跟蹤器在移出視野外和完全遮擋的挑戰中的表現。
1.1 貢獻
本文的貢獻可以歸納爲以下三個方面：
1，詳細分析了傳統暹羅跟蹤器中使用的特徵。發現非語義背景與語義干擾間的不平衡是學習訓練數據的主要障礙。
2，我們提出了一個新穎的干擾敏感的暹羅待選區域網絡（DaSiamRPN）框架來學習離線訓練中的干擾敏感特徵，並在在線跟蹤過程中顯式抑制干擾因素。
3，我們通過引入DaSiamRPN擴展了執行長期跟蹤的能力，一個簡單而有效的局部到全局搜索區域策略，改善了我們的跟蹤器在視野外和完全遮擋挑戰中的性能。 在短期和長期視覺跟蹤基準的綜合實驗中，提出的DaSiamRPN框架獲得了前排的準確性，而執行速度卻已超前。
2 相關工作
暹羅網絡爲基礎的跟蹤
跟蹤的特徵
長期跟蹤
3 干擾敏感暹羅網絡
3.1 傳統暹羅網絡的特徵和缺陷
3.2 干擾敏感的訓練
不同類型的正樣本對可以提高泛化能力
語義負樣本對可以提高辨別能力
爲視覺跟蹤定製有效的數據增強
3.3 干擾敏感的增量學習
3.4 用於長期跟蹤的DaSiamRPN
4 復現實驗
平臺：google colab