Agentic Research

Context Window(上下文視窗)

又稱:上下文長度 · context length · 上下文視窗

模型一次能看到的 token 總量上限 —— 輸入和輸出共用這個額度。

你會在什麼時候遇到它

它是「AI 為什麼會忘」的直接原因。也是決定你要不要上 RAG、要不要做上下文壓縮的那條線。

打個比方

像一張固定大小的桌面。你可以攤很多資料,但桌子就這麼大;新資料放上來,舊的要嘛挪走,要嘛被蓋掉。模型不會告訴你它蓋掉了什麼。

最小範例

128K 上下文大致可以放:
  系統提示 + 工具定義      約 5K~20K
  對話歷史                 越聊越多
  檢索到的文件             看你塞多少
  ─────────────────────────
  剩下來的,才是模型能寫答案的空間

把上下文塞滿,模型就沒有空間思考與輸出。這是長對話品質突然變差的主因之一。

最常搞錯的地方

  • 以為上下文越大越好、塞滿沒關係。塞得越滿,模型越容易在中間「找不到」關鍵那段(lost in the middle)。
  • 以為超出會報錯。多數情況是靜默截斷,你不會收到警告,只會得到一個變笨的回答。

相關詞條

下一步