ollama——快速上手Llama3部署使用

ollama——快速上手Llama3

1. ollama安裝

#Linux
curl -fsSL https://ollama.com/install.sh | sh

#vi /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
#配置遠程訪問
Environment="OLLAMA_HOST=0.0.0.0"
#配置跨域請求
Environment="OLLAMA_ORIGINS=*"
#配置OLLAMA的模型存放路徑，防止內存不足，一般的默認路徑是/usr/share/ollama/.ollama/models/
Environment="OLLAMA_MODELS=/home/ollama/.ollama/models"

[Install]
WantedBy=default.target

##修改完後執行
sudo systemctl daemon-reload
sudo systemctl enable ollama

2. ollama的使用

#使用感覺和docker類似，輸出ollama就會有提示
ollama serve	#啓動ollama
ollama create	#從模型文件創建模型
ollama show		#顯示模型信息
ollama run		#運行模型
ollama pull		#從註冊表中拉取模型
ollama push		#將模型推送到註冊表
ollama list		#列出模型
ollama cp		#複製模型
ollama rm		#刪除模型
ollama help		#獲取有關任何命令的幫助信息

3. ollama的library

類似Docker的Docker Hub,在這裏可以查找可以選擇的大模型。

4. Llama3使用示例

• 這裏以llama3-8b爲例

#下載模型
ollama pull llama3
#下載成功查看模型
ollama list
#運行模型
ollama run llama3

• general api調用

  #input
  {
      "model": "llama3",
      "prompt": "Describe the scene of sunny weather after raining",
      "stream": false
  }
  #output
  

• chat api調用

  {
      "model": "llama3",
      "messages": [
          {
              "role": "system",
              "content": "假設你是一名資深的翻譯家，請將接下來的內容翻譯成中文"
          },
          {
              "role": "user",
              "content": "What a lovely scenario!\n\nAs you step out into the bright, open air."
          }
      ],
      "stream": false
  }
  

5. 參考

https://ollama.com/
https://github.com/ollama/ollama