Meta最新推出的開源大模型llama-3,被譽爲目前最強的開源大模型,能力接近於GPT 4.5. 因此在本地搭建一下搶鮮體驗
系統環境
CPU: AMD Ryzen 5 3600X 6-Core Processor 4.10 GHz
RAM: 32G
GPU: Navida 2060S 8G
DISK: SSD 100 G Free
基於上述自身條件,裝llama-3 8b版本比較實際。
整個安裝使用Ollama,5分鐘安裝完成正常運行
用Ollama運行llama-3
點擊這裏下載 Ollama Windows Preview版本。我下載msi包,完成下載後直接安裝
完成安裝後直接打開命令行提示符或者Power Shell。運行
# 由於ollma運行模型時只支持localhost和127.0.0.1訪問,所以還要設置一下局域網內可訪問,即設置環境變量OLLAMA_HOST爲0.0.0.0
setx OLLAMA_HOST "0.0.0.0"
ollama run llama3:8b
等待ollama下載llama3完成並運行,成功運行後顯示結果如下:
這樣就可以在命令行中進行問答。
增加Web UI
如果需要一個像ChatGPT網頁版那樣的UI界面,還需要多做一步,就是安裝Open WebUI, 直接到他們的github代碼庫上去看安裝指導,用Docker安裝非常簡單,我本地用的WSL2,所以用WSL2跑Open WebUI. 運行以下命令就行
docker pull ghcr.io/open-webui/open-webui:main
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://宿主機IP:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安裝結果如下:
然後,瀏覽器裏輸入 http://localhost:3000/ 就可以看到運行起來的網頁版了。
結語
這樣,llama-3就在短時間之內在本地搭建起來了,不過體驗下來,8b還是差了點意思,首先中文支持確實不大友好,再就是也經常扯淡答非所問。所以玩玩可以,真正幹活還是要用大參數版本的。