微軟Phi-3，3.8億參數能與Mixtral 8x7B和GPT-3.5相媲美，量化後還可直接在IPhone中運行

Phi-3系列

Phi-3是一系列先進的語言模型，專注於在保持足夠緊湊以便在移動設備上部署的同時，實現高性能。Phi-3系列包括不同大小的模型：

1. Phi-3-mini（38億參數） - 該模型在3.3萬億個令牌上進行訓練，設計得足夠小，可以在現代智能手機上運行。儘管體積緊湊，它的性能卻可與更大的模型如Mixtral 8x7B和GPT-3.5相媲美，例如在MMLU基準測試中達到69%，在MT-bench上得分爲8.38。
2. Phi-3-small（70億參數）和Phi-3-medium（140億參數） - 這些是Phi-3系列中較大的版本，在相同類型的數據上訓練，但令牌數更多（4.8萬億），表現更佳。例如，Phi-3-small和Phi-3-medium在相同基準測試中的得分高於Phi-3-mini。

Phi-3模型的開發涉及使用經過嚴格過濾的網絡數據和合成數據訓練模型，使它們能夠執行通常預期的大型模型任務。這種策略使Phi-3系列能夠利用更小、更高效的模型，而不犧牲功能，使其能夠直接在智能手機上運行。

Phi-3模型的重要性在於它們能夠將強大的AI能力帶到移動設備上，允許運行完全本地的強大AI應用，無需持續的互聯網連接。這種進步可能導致廣泛的設備上應用，增強用戶隱私並減少AI驅動任務的延遲。

 

https://avoid.overfit.cn/post/993fe58451424742928c50999461ddf9