Context Window(上下文視窗)
又稱:上下文長度 · context length · 上下文視窗
模型一次能看到的 token 總量上限 —— 輸入和輸出共用這個額度。
你會在什麼時候遇到它
它是「AI 為什麼會忘」的直接原因。也是決定你要不要上 RAG、要不要做上下文壓縮的那條線。
打個比方
像一張固定大小的桌面。你可以攤很多資料,但桌子就這麼大;新資料放上來,舊的要嘛挪走,要嘛被蓋掉。模型不會告訴你它蓋掉了什麼。
最小範例
128K 上下文大致可以放:
系統提示 + 工具定義 約 5K~20K
對話歷史 越聊越多
檢索到的文件 看你塞多少
─────────────────────────
剩下來的,才是模型能寫答案的空間把上下文塞滿,模型就沒有空間思考與輸出。這是長對話品質突然變差的主因之一。
最常搞錯的地方
- 以為上下文越大越好、塞滿沒關係。塞得越滿,模型越容易在中間「找不到」關鍵那段(lost in the middle)。
- 以為超出會報錯。多數情況是靜默截斷,你不會收到警告,只會得到一個變笨的回答。