AI 知識2026/10/02
按下 Enter 之後：從 0.03 秒到 0.85 秒，你的問題經歷了什麼
用一次真實的 API 呼叫拆解一個提問的完整鏈路：建立連線 35 毫秒、切詞微秒級、模型讀完整段問題 474 毫秒、逐字生成 380 毫秒——總計 854 毫秒。附完整可重現的量測方法，以及一個反直覺的結論：96% 的時間不在網絡，而在模型裡面。
LLMInferenceLatency+1
工具2026/05/10
其他推理框架對比：llama.cpp、MLX、ExLlamaV2 完整指南
三大本地 LLM 推理框架深度對比：llama.cpp (GGUF)、Apple MLX、ExLlamaV2，涵蓋安裝、效能、適用場景。
MLXInferenceLocal LLM
工具2026/05/10
LiteLLM Proxy 多模型路由實戰
使用 LiteLLM Proxy 統一管理 DeepSeek、ModelStudio、Ollama 等多個 LLM 後端 — 負載均衡、成本追蹤、fallback 配置。
InferenceAPI
工具2026/05/10
vLLM 部署與效能調優完整指南
vLLM 高效 LLM 推理引擎部署指南：安裝、配置、PagedAttention 原理、效能基準測試。
Inference