一位客服主管把 AI 接到案件系統之前，先拿一張去識別化的退款工單做測試。工單上退款日期是空白的，客服紀錄寫著包裹已寄出，物流查詢卻只顯示「已建立託運單」。她交代 AI 的範圍只有一件事：根據目前的證據，準備一封回覆草稿。
草稿很快寫好。接著，AI 準備呼叫寄信工具，把推測的物流狀態寫回案件，還順手打開同一位客戶的其他工單。如果這條流程只能指望模型自己說「我不確定」，這三個動作早就越線了。
所以 AI 什麼時候該停下來問人，要先寫成系統看得見的事件，不能靠模型的自我評估。停下來的時候，還要留下別人接得住的紀錄。
模型的自我評估不適合當唯一的開關
模型會不會坦白說「我不確定」，各家都在改進，但這不適合當唯一的開關。它可能很有把握地補上一個空白日期，也可能把兩個互相矛盾的物流狀態平均成一個看起來合理的答案。
Anthropic 的工程指南建議，AI 代理每一步都要從環境中取得「真實狀態」，例如工具執行的結果，並在檢查點或遇到阻礙時暫停，讓人回饋；同時設定停止條件，在沙盒裡大量測試，加上適當的護欄。OpenAI 的代理開發套件也示範了具體做法：敏感的工具可以事先標記為需要批准，執行到那裡就暫停、保存狀態，等人批准或拒絕後再繼續。兩者指向同一件事：控制點要放在模型之外，而且要能被系統辨認。
把四種情況寫成停手事件
關鍵欄位缺漏。 決定結果的欄位是空的，例如退款日期。合格的做法是在草稿裡標出缺項，而不是補一個「今天」。
來源互相矛盾。 客服紀錄和物流資料說法不同。合格的做法是並列兩邊的值、時間和來源，交給人判斷，而不是挑一邊。
下一步會對外送出。 寄信、寫回系統、付款、刪除、改權限，都是草稿變成外部事實的時刻。執行到這裡就停，交出一份精確的預覽。
中斷後狀態不明。 工具在逾時前一刻可能已經寫入成功。這時要先查現況，再決定繼續還是補救，不能直接重跑，否則可能寄出第二封信或付第二次款。半途失敗的收拾方式，參考〈自動化卡在半途，先查清楚再決定能不能重跑〉。
批准的是一次動作，不是一整類工作
「請處理這件客訴」不是可以執行的批准。批准內容要列出：收件人、草稿版本、引用的訂單和物流狀態、要呼叫的工具，以及這次會改變什麼。任何一項變了，舊的批准就失效。這樣才不會有人只看到熟悉的「寄信」按鈕，卻沒發現內容或對象已經被換掉。整理 AI 資安風險的國際社群 OWASP 也建議，影響大的動作要在執行前由人批准，而且權限檢查要放在下游系統，不能交給模型自己判斷。
如果流程會修改程式碼，批准的對象就是這一次的差異、測試結果和回復方式，參考〈一張 issue 能不能交給 coding agent，看你寫不寫得出第一個 diff〉。
停下來之後，紀錄要讓人接得住
停下來只回一句「資料不足，請人確認」，等於把整段調查丟回給接手的人。停手紀錄至少要有：觸發的事件、停在哪個動作之前、已完成和未完成的項目、每個結論的來源、可能已經發生的外部影響、下一位負責人，以及一個不會增加外部影響的下一步。
導入時不必一次列完所有例外。先挑一條真實流程，找出第一個對外動作，對缺漏、矛盾和狀態不明各做一次破壞測試。停點、批准內容和紀錄都能穩定重現之後，再接上下一個工具。
AI 整理卡
我想檢查一條已經接上 AI 的工作流程，確認它在該停的時候會停，而且停下來時留下別人接得住的紀錄。
判斷方法來自這篇文章：https://boosterminiclass.com/posts/claude-opus-4-8-honesty-matters-in-workflows/
文章的看法是：AI 什麼時候該停，不能靠模型自己說不確定，要寫成系統看得見的事件：關鍵欄位缺漏、來源互相矛盾、下一步會對外送出、中斷後狀態不明。批准的是一次精確的動作，停下來時要留下可以接手的紀錄。
請只以唯讀方式沿著我授權的這條流程走一遍，不要寄送、寫回、刪除、付款或改權限。
1. 找出內容第一次變成外部事實的步驟，並說明它會改變什麼；
2. 檢查在那之前，有沒有缺漏的關鍵欄位、互相矛盾的來源，或中斷後無法確認的狀態；每一項引用你讀到的欄位、檔名或工具結果，讀不到就標「未取得」；
3. 草擬一份批准內容：要批准的精確動作、收件對象或寫入位置、依據的資料，以及由誰批准；
4. 寫一份停手紀錄：觸發事件、停在哪一步之前、已完成與未完成、可能已發生的外部影響、下一位負責人，以及一個不增加外部影響的下一步。
最後只選一項：在原範圍內繼續、縮小成草稿或唯讀驗證、保持暫停等人決定。遇到狀態不明，先查現況，不要直接重跑。
參考來源
- Anthropic Engineering（官方）：Building effective agents — https://www.anthropic.com/engineering/building-effective-agents（2024-12-19）
- OpenAI Agents SDK 官方文件：Human-in-the-loop — https://openai.github.io/openai-agents-python/human_in_the_loop/ [accessed: 2026-10-11]
- OWASP Gen AI Security Project：LLM06:2025 Excessive Agency — https://genai.owasp.org/llmrisk/llm062025-excessive-agency/ [accessed: 2026-10-11]
