Agent 操作介面

📌 學習目標

• 看一個任務，就知道該用搜尋、網頁操作、整台電腦操作，還是隔離執行。
• 用自己的話解釋八個會一直出現的核心詞。
• 在 agent 動手前，先畫出它能去的網站、能做的動作與一定要問人的地方。
• 完成一個不登入、不下載、不碰真實帳戶的小練習。
• 看 benchmark 時先問「測了什麼、怎麼算、給幾步」，不只看一個分數。

📚 必修閱讀

1. 1.Anthropic — Computer Use tool⭐⭐⭐⭐⭐看懂「模型提出動作，應用程式執行」。
2. 2.Anthropic — Browser Use tool⭐⭐⭐⭐⭐看網頁元素與像素回退怎麼合作。
3. 3.OpenAI — Computer Use guide⭐⭐⭐⭐看 GA tool 與安全邊界。

🎯 精選資源

練習摘要取自上游教材；完整程式碼、成本與延遲估算見官方版。

1. 練習 1：最小瀏覽器練習 — 在隔離的瀏覽器 profile 裡，讓 agent 只到 example.com 這類允許清單網站做一件小事（不登入、不下載）。
2. 練習 2：沙箱執行 — 用 Python 3.10+ 在不連網、不需要 API key 的環境，實作最小 executor 與 approval gate。
3. 動手前先畫三張表：能去的網站（allowlist）、能做的動作、一定要問人的地方（approval gate）。
4. 頁面文字要當成不可信輸入（prompt injection 防線），不是更高權限的命令。

✅ 自我檢查

• 我能先選最小介面，不會把每題都丟給 Computer Use。
• 我能解釋八個核心詞，也知道 Browser Use 不只看 DOM。
• 我會先隔離、列 allowlist、設 approval，再驗證結果與 log。
• 我完成了 example.com 練習，agent 沒有離開允許範圍。
• 我看 OSWorld 分數時，會一起找任務、metric、step budget 與 harness。