簡介：
MOTChallenge是多目標跟蹤領域最爲常用的benchmark，其中2D MOT15，3D MOT15，MOT16，MOT17，MOT20都是多目標跟蹤領域常用的數據集。
下面我們按照MOTChallenge中的評價標準進行介紹，當然MOTChallenge也主要參考《Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics》
評價指標：
總結
CLEAR MOT Metrics認爲一個好的多目標跟蹤器應該有如下三點特性：
1.所有出現的目標都要能夠及時找到（檢測的性能）
2.找到目標位置要儘可能可真實目標位置一致（檢測的性能）
3.保持追蹤一致性，避免跟蹤目標的跳變 （匹配的性能）
所以可以看出，多目標跟蹤和目標檢測是密不可分的，檢測的性能不可避免的會對跟蹤的性能造成影響。
MOTChallenge的評價指標一共有十一個，分別是
| Measure | Better | Perfect | Description |
|---|---|---|---|
| MOTA | higher | 100% | 跟蹤的準確度，和出現FN，FP，IDs的數量負相關，可能出現負值。 |
| MOTP | higher | 100% | 跟蹤的精度，GT和檢測的bbox的匹配交疊 |
| IDF1 | higher | 100% | 正確的檢測數量和GT的數量的比值 |
| FAF | lower | 0 | 每幀的平均誤報警數 |
| MT | higher | 100% | 命中的軌跡佔總軌跡的佔比，定義命中的軌跡爲長度小於ground truth 80%的軌跡 |
| ML | lower | 0 | 丟失的軌跡佔總軌跡的佔比，定義丟失軌跡爲長度小於ground truth 20%的軌跡 |
| FP | lower | 0 | FP的總數量，false positives也就是誤檢 |
| FN | lower | 0 | FN的總數量，false negatives也就是漏檢 |
| IDs | lower | 0 | ID改變的總數量 |
| Frag | lower | 0 | 軌跡被打斷的總數量 |
| Hz | higher | Inf | 處理速度，不包括檢測器的耗時，而且這個指標由作者提供，MOTChallenge是計算不出來的，因爲遞交的是offline文件。 |
MOTA
其中，FN爲False Negative，FP爲False Positive，IDSW爲ID Switch，GT爲Ground Truth 物體的數量。MOTA考慮了tracking中所有幀中對象匹配錯誤，主要是FN，FP，ID Switch。MOTA給出了一個非常直觀的衡量跟蹤器在檢測物體和保持軌跡時的性能，與物體位置的估計精度無關。MOTA取值應小於100，當跟蹤器產生的錯誤超過了場景中的物體，MOTA會爲負數。需要注意的是，此處的MOTA以及MOTP是計算所有幀的相關指標再進行平均（既加權平均值），而不是計算每幀的rate然後進行rate的平均。
MOTP
其中，d爲檢測目標i和給它分配的ground truth之間在所有幀中的平均度量距離，在這裏是使用bounding box的overlap rate來進行度量（在這裏MOTP是越大越好，但對於使用歐氏距離進行度量的就是MOTP越小越好，這主要取決於度量距離d的定義方式）；而c爲在當前幀匹配成功的數目。MOTP主要量化檢測器的定位精度，幾乎不包含與跟蹤器實際性能相關的信息。
FN&FP&IDs&Frag
假設GT只有一條，用虛線表示，也就是說在GT中由6幀圖像，並只有一個track id。下面由a，b，c，d四張圖，涵蓋了FN，FP，IDs和Frag的情況。
在圖a中，GT被預測爲紅藍兩條，紅色軌跡F1時並沒有匹配上GT，所以GT實際上是一個FN，也就是實際爲目標，但是被遺漏了。同理紅色軌跡的F1結果，也就是一個FP，因爲實際上是一個不存在的東西被判定成了目標。
同理，藍色軌跡F3，F4也是FP，又因爲GT由4到5時，id從紅色變成藍色，所以存在IDs。
在圖b中，還是同樣的GT，這次紅藍兩條軌跡沒有交疊，在F3的地方GT斷開了，所以存在一次Frag。
