Ollama — 本地運行 LLM 的最佳方案 | Agentic Research

為什麼選擇 Ollama？

完全本地運行：數據不出本機，隱私安全
一鍵安裝：brew install ollama 搞定
模型豐富：Llama 3、Mistral、Qwen 2.5、DeepSeek、Gemma 等
API 兼容：提供 OpenAI 兼容 API，無縫遷移
Mac 優化：支援 Metal GPU 加速

安裝

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

啟動服務：

ollama serve

常用模型推薦

| 模型 | 大小 | 適合場景 | |------|------|---------| | deepseek-r1:8b | 4.9GB | 推理 + 程式碼 | | qwen2.5:7b | 4.7GB | 中英文通用 | | llama3.1:8b | 4.9GB | 英文通用 | | mistral:7b | 4.1GB | 輕量快速 | | codellama:7b | 3.8GB | 純代碼 |

基本使用

# 拉取模型
ollama pull deepseek-r1:8b

# 互動對話
ollama run deepseek-r1:8b

# 單次問答
ollama run deepseek-r1:8b "Explain quantum computing in simple terms"

API 模式

Ollama 默認在 http://localhost:11434 提供 REST API：

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1:8b",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

在 Claude Code 中使用 Ollama

配置 ~/.claude.json 或環境變數，指向本地 Ollama：

{
  "apiKey": "ollama",
  "baseURL": "http://localhost:11434/v1"
}

注意事項

7B 模型需要至少 8GB RAM
Mac M 系列芯片使用 Metal 加速效果很好
首次拉取模型需要下載幾個 GB，耐心等待
建議用 ollama list 管理已下載模型