一些重要的鏈接
- vqa_eval官方API鏈接：http://www.visualqa.org/evaluation.html
- VQA 官網的鏈接：https://visualqa.org/
- VQA CP數據集及論文鏈接：https://www.cc.gatech.edu/~aagrawal307/vqa-cp/
VQA 1.0
- Test的地址：www.codalab.org，分爲test-dev, test-std，其中dev的所有QA pairs都來自於test-std。一般用來測試的json文件，前者也會比後者小很多
注意事項：
- test-std上傳數量有限，每個賬號總共只能上傳5次。且也有每日上限制。
- 上傳前，把json文件壓縮爲results.zip再上傳，其中json文件命名格式需爲vqa_[task_type]_[dataset]_[datasubset]_[name]_results.json, 例如：vqa_OpenEnded_mscoco_model-name_results.json，其中model-name可以替換
VQA 2.0
- Test的地址：https://evalai.cloudcv.org/web/challenges/challenge-page/514/overview，其它同VQA 1.0
- 注意事項同VQA 1.0，但是它不需要壓縮爲results.zip，且也沒有命名的限制，相對方便很多。
VQA-CP
目前CP的數據集上，只給出了train和test（這裏test其實就是validation，因爲有answer），所以並不需要打榜。簡單的report results即可