Pythia簡介
Pythia是一個深度學習框架，支持視覺和語言領域的多任務處理。Pythia基於Facebook開源的PyTorch框架，採用模塊化和即插即用設計，研究人員能夠基於它快速構建、複製AI模型和進行基準測試。Pythia專爲視覺和語言任務而設計，例如回答與視覺數據相關的問題、自動生成圖像標題等。
Pythia能做什麼
Pythia涵蓋了Facebook在近期多項AI競賽（VQA Challenge 2018和Vizwiz Challenge 2018）獲勝成果中的元素。其功能特性包括一些最新模型的參考實現方法，能夠幫助研究人員瞭解這些先進模型如何實現對應的基準測試結果，同時快速評估新模型的性能。除了多任務，Pythia還支持分佈式訓練和各種數據集，以及自定義的損失、度量、調度和優化。
具體功能特性如下：
- Model Zoo：最先進的視覺和語言模型的參考實現，包括 LoRRA（SoQ on VQA和TextVQA）、Pythia模型（VQA 2018挑戰獲勝者）和BAN。
- 多任務：支持多任務，允許多個數據集同時訓練。
- 數據集：內置多種數據集，包括VQA、VizWiz、TextVQA和VisualDialog。
- 模塊：提供視覺和語言領域中常用層的實現方法。
- 分佈式：支持基於DataParallel和DistributedDataParallel的分佈式訓練。
- Unopinionated：不影響基於它構建任何數據集和模型。
- 可定製：支持自定義損失、度量、調度、優化器、TensorBoard等任何定製化需求。
點這裏可以瞭解有關Pythia的更多信息。
開源Pythia的重要性
Pythia讓研究人員能夠更加輕鬆地展開視覺和語言子領域的工作，研究人員能夠專注於更快的原型設計和實驗。Facebook官網博客表示，Pythia的目標是通過提高這些模型和結果的可重複性來加速進步。這將使社區更容易在成功系統的基礎上構建自己的模型和進行基準測試。Pythia旨在消除模型重現的障礙，進而使研究人員能夠更快地爲人和智能機器開發新的交流方式。這項工作將幫助研究人員開發自適應人工智能，將多種理解融合到更基於情境的多模式理解中。
除了當前開源的版本，Facebook還計劃繼續爲Pythia添加更多工具、任務、數據集和參考模型。
Pythia開源項目地址：https://github.com/facebookresearch/pythia