Agentic Research

本地跑 LLM:資料不出機的隱私方案

2 小時跑通本地模型6 個步驟3 個工具

這個場景解決什麼問題

敏感資料不能上傳雲端 API,但又要用 AI 處理,看起來無解。

工具組合

這不是唯一解,但這個組合我們驗證過可以跑通。每個工具都連到它的完整評測, 含「不適合誰」。

  1. 01
    OllamaOllama

    一行指令在本地跑開源模型,附 OpenAI 相容 API

  2. 02
    LM StudioLM Studio

    圖形介面下載、管理並運行本地模型,支援 GGUF 與 MLX

  3. 03
    vLLM開源社群(源於 UC Berkeley)

    高吞吐量的 LLM 推論伺服器,生產環境自架首選

做完你會拿到

你會得到

本地 OpenAI 相容端點,既有程式碼改一行 base URL 即可切換,附模型選型與量化建議。

完整步驟

  1. 01安裝
  2. 02常用模型推薦
  3. 03基本使用
  4. 04API 模式
  5. 05在 Claude Code 中使用 Ollama
  6. 06實際使用場景

相鄰的場景

這些工具還能做什麼

難度標記「入門」· 適用軌道:技術軌、商業軌、金融軌 · 最後核實:2026-09-29。