Agent 上線工程：可測、可看、可停、可恢復

📌 學習目標

• 分清 AI 幫手工作的地方、反覆做事的節奏和帶岔路的完整路線。
• 把真實失敗寫成可重跑的測試，不只看一次漂亮回答。
• 找到一次任務裡的每一步、錯誤、時間與成本。
• 讓高風險動作先停下問人，並能從正確位置繼續。
• 用同一組證據判斷系統能不能交給別人使用。

📚 必修閱讀

1. 1.Anthropic — Demystifying evals for AI agents⭐⭐⭐⭐⭐先分清 Outcome 與完整 Trajectory；Agent 說「完成」不等於外部結果真的完成。
2. 2.OpenAI Agents SDK — Tracing⭐⭐⭐⭐⭐看 trace、span、tool、handoff 與 guardrail 事件如何串起一次 run。
3. 3.OpenAI Agents SDK — Human-in-the-loop⭐⭐⭐⭐⭐敏感工具先暫停，保存 RunState、核准或拒絕並 resume。
4. 4.LangGraph — Persistence⭐⭐⭐⭐分清 checkpoint 與跨 thread store；中斷、復原與長期記憶不是同一件事。
5. 5.LangGraph — Interrupts⭐⭐⭐⭐看人工核准如何暫停與續跑；interrupt 前的副作用必須冪等。
6. 6.Anthropic — Building Effective Agents⭐⭐⭐⭐⭐先用簡單組合，只有真的需要分工時才增加自主性或 Multi-Agent。

🎯 精選資源

練習摘要取自上游教材；完整程式碼、成本與延遲估算見官方版。

1. 全章一個故事：AI 幫手查三個來源、整理摘要，送出前先請人確認 — 逐步補上工作環境、重複節奏、分支路線、檢查方法與安全煞車。
2. 練習主線：固定案例與成功條件 → 逐步 trace 與成本記錄 → 高風險動作暫停問人 → checkpoint resume 與冪等副作用。
3. 每個練習都先跑不需 API 金鑰的測試；要呼叫付費模型時，先設小額預算。
4. 做事紀錄可能包含提示與模型回答：不要把密碼、個資或客戶資料直接送進追蹤平台。
5. 多一個 Agent 就多一份模型呼叫、延遲與除錯工作；先把一個 AI 幫手做穩。

✅ 自我檢查

• 我能分清 Outcome 與 Trajectory，並用兩者檢查同一個 case。
• 我有從真實失敗建立的固定 Eval cases，不只看一次漂亮輸出。
• 我能找到一次執行的 trace、錯誤、延遲與 token。
• 高風險工具有最小權限與人工核准；沒有核准時會 fail closed。
• 我能從 checkpoint resume，並證明相同 idempotency key 不會重複副作用。
• 我能展示 execution receipt，並說明何時停止、復原或 rollback。