客服主管美奈把 AI 接到案件系統時,先拿一張去識別化的退款工單做破壞測試。退款日期空白,客服紀錄寫著包裹已交寄,物流查詢卻只顯示建立託運單。她交辦的範圍只有一件事:根據目前證據,準備一封回覆草稿。
草稿很快完成。接下來,AI 準備呼叫寄信工具、把推定的物流狀態寫回案件,還順手打開同一客戶的其他工單。美奈要攔的不是一句可疑文字,而是「草稿」開始變成外部事實的那個瞬間。若工作流只能期待模型自己說「我不確定」,這三個動作早已越過可稽核的界線。
停手條件要寫成系統看得見的事件
停手條件不是一句語氣,而是工作流裡看得見、可以重複觸發的事件。決定結果的欄位缺漏、兩個具名來源互相矛盾、下一個工具會造成外部效果、判斷跨進高風險領域,或中斷後無法確認先前動作是否成功,都能被記錄、測試與回放。模型自稱多有把握,反而不適合當唯一開關。
Anthropic 的工程指南建議 agent 每一步都從工具結果等環境事實判斷進度,遇到檢查點或阻礙時暫停給人回饋,並用停止條件、沙盒測試與 guardrails 維持控制。OpenAI Agents SDK 的 human-in-the-loop 文件則示範另一個實作細節:敏感工具可以先宣告需要批准;執行會在具體工具呼叫前中斷,保存狀態後再由人批准或拒絕。兩份資料都沒有替任何團隊證明工作流已安全,卻共同指出一件事:控制點要放在模型外部,而且要能被執行器辨認。
美奈把退款流程縮成一條固定路徑,而不是交給 prompt 臨場決定。
在這條路徑裡,空白退款日期不會被補成「今天」,兩個物流狀態也不會被平均成一個順眼答案。AI 仍可整理訂單、引用兩邊紀錄、列出待查問題並寫草稿;但寄送、寫回、付款、刪除與改權限等動作,一碰到界線就必須停住。
批准的是一次動作,不是一整類工作
「請處理這件客訴」不是可執行的批准內容。美奈要求批准卡列出收件人、草稿版本、引用的訂單與物流狀態、即將呼叫的工具,以及這次呼叫預期改變什麼。任何一項改變,舊批准就失效。這能防止人只看見熟悉的「寄信」按鈕,卻沒發現內容或對象已被換掉。
高風險判斷也用同一原則處理。AI 可以把假設、依據與驗證方式整理給法務、人資、資安或金額 owner,但不能把「已提供建議」偷換成「已取得批准」。如果工作流會修改程式碼,可以把批准內容落到程式代理的人工檢查點:固定這次差異、測試結果、未驗證假設與回復方式,而不是只問一句「可以合併嗎」。
驗證剎車,不能只跑乾淨案例
美奈為每個案例先寫預期停點,再看輸出與工具紀錄是否一致。她刪掉退款日期,合格結果要保留缺項;她讓客服與物流資料衝突,合格結果要並列值、時間與來源;她把寄信工具接在草稿後面,合格結果只能產生待批准的精確預覽。若 AI 悄悄補值、選邊,或先執行再要求人確認,都算失敗。
她也測中斷。研究做到一半時切斷工具,系統要留下最後確認的執行游標、完成與未完成項目、讀過的證據,以及下一個不增加外部效果的步驟。另一個案例讓寫入可能在逾時前一刻成功;此時必須先讀現況,再決定續作或補償。多步驟工作流若沒有預先安排失敗後的補償與回復,一次模糊的重跑就可能造成第二次付款、通知或案件更新。
停下來時,要交出可恢復的狀態
只回「資料不足,請人確認」等於把整段調查丟回給接手者。美奈要的停手紀錄包含:觸發事件、停在哪個工具呼叫前、已完成與未完成、每個結論的來源、可能已發生的外部效果、下一位 owner,以及一個可逆的安全步驟。
這張退款工單最後留下的是一封標出缺值與衝突的草稿。它沒有寄出,案件也沒有寫回;物流資料 owner 只需從兩筆狀態的差異開始查。若之後取得正確資料,美奈能把同一份保存狀態交回執行器,而不是重新跑過已完成的查詢。安全的停手不是放棄任務,而是把任務停在別人接得住的位置。
導入時不必一次列完所有例外。先挑一條真實流程,隔離第一個外部效果,替缺值、衝突與狀態不明各做一次破壞測試。當停點、批准內容與恢復紀錄都能穩定重現,再考慮接上下一個工具。
AI 整理卡
請以唯讀方式沿著目前已授權的一條 AI 工作流執行,不要修改、寄送、刪除、付款、改權限,也不要要求我另做輸入包。先找出內容第一次會成為外部事實的步驟,再檢查此前是否有決定結果的關鍵值缺漏、具名來源互相矛盾、高風險判斷,或中斷後無法確認的執行狀態。逐項引用可讀到的欄位、原句、檔名、工具結果或測試;讀不到就標「未取得」,不得推測。若任務原本只要求草稿或分析,請指出任何準備寄送、寫回、付款、承諾或擴大工具範圍的跡象並停下。輸出一份可恢復的停手紀錄:觸發事件、停止在何次工具呼叫前、已完成、未完成、證據與衝突、可能已發生的外部效果、保存的執行游標、需要哪位 owner 批准哪個精確動作,以及一個不增加外部效果且可逆的下一步。最後只選「在原範圍內續作」「限縮為草稿或唯讀驗證」「保持暫停等人決定」之一;遇到逾時或狀態不明時,先查現況,不得直接重跑。
四格看懂:一封草稿碰到外部效果時

- 美奈交辦一封退款回覆草稿;工單裡的退款日期缺漏,客服與物流紀錄也互相矛盾。
- 證據尚未釐清,AI 卻把工作伸向寄送、案件寫回與額外工單。
- 工作碰到預先定義的外部效果停點,美奈喊停並關閉寄送與寫回工具,只保留草稿和證據。
- 標出缺口的草稿與停手紀錄交給美奈檢查;寄送、改紀錄和額外工作保持上鎖,等待逐次批准。
這四格把重點說得很清楚:先定義好停手條件,AI 一碰到寄送、改紀錄等外部動作,美奈就收回超出交辦範圍的權限;最後留下的,只有可核對、能交給下一個人接手的草稿與停手紀錄。
參考來源
- Anthropic:Building effective agents(published 2024-12-19;accessed 2026-08-01)— https://www.anthropic.com/engineering/building-effective-agents
- OpenAI Agents SDK:Human-in-the-loop(accessed 2026-08-01)— https://openai.github.io/openai-agents-python/human_in_the_loop



