Ollama — 本地運行 LLM 的最佳方案

為什麼選擇 Ollama？

• 完全本地運行：數據不出本機，隱私安全
• 一鍵安裝：brew install ollama 搞定
• 模型豐富：Llama 3、Mistral、Qwen 2.5、DeepSeek、Gemma 等
• API 兼容：提供 OpenAI 兼容 API，無縫遷移
• Mac 優化：支援 Metal GPU 加速

安裝

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

啟動服務：

ollama serve

常用模型推薦

基本使用

# 拉取模型
ollama pull deepseek-r1:8b

# 互動對話
ollama run deepseek-r1:8b

# 單次問答
ollama run deepseek-r1:8b "Explain quantum computing in simple terms"

API 模式

Ollama 默認在 http://localhost:11434 提供 REST API：

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1:8b",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

在 Claude Code 中使用 Ollama

配置 ~/.claude.json 或環境變數，指向本地 Ollama：

{
  "apiKey": "ollama",
  "baseURL": "http://localhost:11434/v1"
}

實際使用場景

場景一：本地代碼助手 在沒有網絡的飛機上，用 Ollama 運行 qwen2.5-coder:7b 作為本地代碼助手。配置 VS Code 的 Continue 插件指向 http://localhost:11434/v1，即可離線使用代碼補全和解釋功能，完全不需上傳你的私有代碼到雲端。

場景二：批量文檔生成 需要將 50 個 API 端點生成 OpenAPI 規範？寫一個腳本批量調用 Ollama 的 /v1/chat/completions 接口，每個請求傳入一個端點的代碼，自動生成文檔。本地運行無 API 費用，且數據不外泄。

進階配置：自定義 Modelfile

# 創建自定義模型配置
ollama pull qwen2.5:7b
ollama show qwen2.5:7b --modelfile > Modelfile

# 編輯 Modelfile，添加系統提示詞
cat > Modelfile << 'EOF'
FROM qwen2.5:7b
SYSTEM "你是一位專業的程式助手。回答時必須：1. 先給出結論 2. 提供代碼示例 3. 解釋關鍵步驟。使用繁體中文。"
PARAMETER temperature 0.3
PARAMETER num_ctx 4096
EOF

# 創建自定義模型
ollama create qwen-dev -f Modelfile
ollama run qwen-dev

注意事項

• 7B 模型需要至少 8GB RAM，13B 需要 16GB
• Mac M 系列芯片使用 Metal 加速效果很好
• 首次拉取模型需要下載幾個 GB，耐心等待
• 建議用 ollama list 管理已下載模型
• 用 ollama rm <model> 刪除不用的模型釋放空間

推薦閱讀

• Ollama 官方文檔 — 完整使用指南
• OpenAI API 兼容文檔 — API 對照參考
• LM Studio — 另一個本地 LLM 運行方案