關鍵結論：
開源社區模型不具備真正智能，更好的小模型來自大模型的 Scale Down
GPT-4模型信息：採用MoE架構，16個experts，800b參數
如何減少幻覺 hallucination？scaling/retrieval/reward model
指令遵循的開源小模型被過度炒作，已經到達瓶頸，突破方向是更強的 Base Model 和更進一步的反饋數據
用不了多久，大家會把80%算力從 Training 轉向 Serving
預計未來模型的迭代節奏會很像手機系統：1-2 年更新一次大版本，中間有無數次小版本迭代；
中期來看，RLHF 不應該是 Alignment 的唯一手段， Direct Preference Optimization 和 Stable Alignment 是新路徑
長期來看，小版本迭代的角度：隱私/權限的增強、更多的圖片/文件/聲音格式的 Embedding
LLM 的 Context Window 就像電腦內存，向量數據庫是 LLM 的硬盤
Robot Learning 已成爲學界主流研究路線
詳細見鏈接：https://new.qq.com/rain/a/20230711A03VL700?no-redirect=1