顯存 8G x 2 共16G顯存的 AI大模型運行平臺
上配置
配置 | 價格 | 備註 |
A85大板+ amd x4 760k |
60 | 也可以h61+e3v2 或者 x99 + e5v3 或者h81+e3 v3 或者 a320+200ge 或者 x79 + e5v2 總之100以內板u套裝(大板 |
內存 16G | 100 | ecc內存會更便宜 只支持x79(ddr3) x99(ddr4) |
顯卡 p104-100 x2 | 250 | 一張p104-100券後125左右一張p106-100 99-100左右 |
亮機卡 | 25 | 隨便一張25包郵的亮機卡 |
pcie拓展塢 | 16 | pcix1的拓展塢,反正只是用來亮機 |
電源400w | 60 | 隨便一個礦渣電源 |
硬盤500G | 16 | 淘寶券後隨便一家店 希捷薄盤 |
安裝ubuntu 2004 server版本
ubuntu-drivers devices
sudo apt install nvidia-driver-{推薦私有驅動的版本號}
複製粘貼命令安裝cuda驅動
複製粘貼命令安裝docker驅動
複製粘貼命令安裝 tabby cuda版本
https://tabby.tabbyml.com/docs/installation/docker/
安裝chatglm26bint4
https://github.com/THUDM/ChatGLM2-6B