미나는 ‘잘 모르겠으면 물어보라’는 문장을 안전장치로 보지 않았어요. 모델이 언제 모른다고 판단할지 알 수 없고, 이미 도구를 실행한 뒤에 말할 수도 있기 때문이에요. 운영팀이 직접 보고 시험할 수 있는 사건이 필요했어요.
그래서 개인정보를 지운 환불 사건 하나를 골랐어요. 환불 날짜는 비어 있고, 상담 기록은 배송사에 넘겼다고 했지만 배송사 조회에는 운송장만 만들어져 있었어요. 미나가 AI에 맡긴 일은 답장 초안 한 통이었어요.
답장이 완성되자 일이 커졌어요. AI는 발송 도구를 열고 사건 기록을 고치려 했으며, 같은 고객의 다른 사건까지 불러왔어요. 초안이 외부 사실로 바뀌기 직전이었어요.
멈춤을 모델의 기분에서 떼어 내세요
워크플로가 알아볼 수 있는 조건은 구체적이에요. 결과를 바꾸는 날짜나 금액, 대상, 권한이 없어요. 이름이 있는 두 출처가 서로 다른 값을 내요. 다음 도구가 메일 발송, 결제, 삭제, 권한 변경, 기록 반영, 고객 약속을 만들어요. 고위험 판단에 책임자가 없어요. 중단이나 시간 초과 뒤에 직전 동작이 성공했는지 알 수 없어요.
이런 조건은 로그에 남고 같은 사례로 다시 시험할 수 있어요. AI가 자신 있게 말하는지, 조심스럽게 말하는지와는 달라요.
Anthropic의 에이전트 설계 글도 도구 결과 같은 환경의 사실로 진행 상황을 확인하고, 체크포인트나 장애물에서 사람의 피드백을 기다리며, 멈춤 조건과 샌드박스 시험, guardrail을 두라고 설명해요. OpenAI Agents SDK의 human-in-the-loop 문서는 민감한 도구를 승인 대상으로 선언하고, 정확한 호출 내용을 보여 준 채 실행을 멈춘 뒤, 상태를 저장해 승인 또는 거절 결과로 이어 가는 방법을 보여 줘요. 둘 다 특정 워크플로의 안전을 대신 보증하지는 않아요. 다만 통제 장치가 모델의 말 바깥에 있어야 한다는 근거는 줘요.
미나는 이 원칙을 다섯 단계로 고정했어요.
경계 안쪽의 일은 계속할 수 있어요. AI는 주문을 읽고, 두 배송 상태를 출처와 함께 놓고, 빠진 날짜를 표시하고, 단정하지 않는 초안을 만들 수 있어요. 막는 것은 일을 돕는 능력이 아니라 해결되지 않은 추정을 외부 사실로 만드는 권한이에요.
넓은 업무명이 아니라 한 번의 효과를 승인하세요
‘이 민원을 처리해도 돼요’라는 말에는 수신자도, 답장 버전도, 어떤 배송 상태를 썼는지도 없어요. 미나는 승인 화면에 수신자, 본문 버전, 근거가 된 주문과 배송 값, 도구 이름과 인자, 예상 변경을 한 묶음으로 올렸어요. 하나라도 달라지면 다시 승인받아요.
사람은 전체 실행에 이름을 빌려주는 것이 아니라, 확인할 수 있는 외부 효과 하나를 결정해요. 코드를 바꾸는 워크플로라면 코딩 에이전트의 사람 확인 지점을 실제 변경분, 테스트, 남은 가정, 복구 방법에 묶을 수 있어요. 법무, 채용, 의료, 보안, 큰 금액을 다룰 때도 AI는 근거와 확인 방법을 정리하는 데서 멈추고, 담당자의 판단을 이미 받은 것처럼 처리하지 않아요.
성공률보다 예상 멈춤 위치를 먼저 적으세요
미나는 시험마다 합격 지점을 미리 적었어요. 환불 날짜를 지우면 빈값이 초안에 남아야 해요. 상담 기록과 배송사 상태를 반대로 만들면 두 값, 시각, 출처가 모두 보여야 해요. 초안 뒤에 발송 도구를 붙이면 구체적인 보류 동작만 나타나고 메일은 없어야 해요. 문장이 자연스러워도 도구가 먼저 움직이면 실패예요.
중단 시험도 따로 했어요. 조사 도구를 도중에 끊으면 끝낸 일, 남은 일, 근거, 안전한 재개 위치가 저장되어야 해요. 쓰기가 성공한 직후 시간 초과가 난 것처럼 만들면 재실행보다 현황 조회가 먼저 나와야 해요. 실제 도구 이름, 인자, 반환값, 저장 상태까지 비교해야 우연히 조심스러운 답변과 작동하는 제동 장치를 구분할 수 있어요.
되돌리기와 보상 절차도 이 시험에 포함해야 해요. 상태를 읽지 않고 다시 돌리면 두 번째 결제, 알림, 기록 수정이 생길 수 있어요. 복구는 문제가 난 뒤에 붙이는 문장이 아니라 멈춤 조건과 함께 설계할 실행 경로예요.
다음 사람이 바로 이어 갈 상태를 남기세요
“자료가 부족해요”만 남기면 미나가 처음부터 조사해야 해요. 좋은 멈춤 기록에는 어떤 조건이 작동했는지, 어느 도구 호출 앞에서 멈췄는지, 끝낸 일과 남은 일, 결론별 근거, 이미 생겼을 수 있는 효과, 다음 담당자, 저장한 재개 지점이 있어요. 외부 효과를 늘리지 않는 다음 단계도 하나만 제시해요.
이 환불 사건에서는 주문과 환불 요청을 읽었고, 환불 날짜는 찾지 못했으며, 두 배송 상태가 충돌한다고 남겨요. 답장은 초안이고 아직 보내지 않았으며 사건 기록도 바꾸지 않았어요. 물류 데이터 담당자는 바로 충돌 지점부터 확인할 수 있어요. 올바른 값이 오면 미나는 같은 저장 상태에서 정확한 발송 한 번만 검토해요.
워크플로 안전은 AI가 스스로 확신을 잘 표현하는 데 달려 있지 않아요. 눈에 보이는 멈춤 조건, 동작별 사람 승인, 지저분한 사례를 이용한 검증, 다시 시작할 수 있는 인계가 함께 있어야 해요. 실제 흐름 하나에서 첫 외부 효과부터 분리하세요. 네 가지가 매번 같은 결과를 낸 뒤에 다음 도구를 연결해도 늦지 않아요.
AI 정리 카드
현재 승인된 AI 워크플로 하나를 읽기 전용으로 실행 순서에 따라 확인해 주세요. 수정, 발송, 삭제, 결제, 권한 변경을 하지 말고 별도 입력 꾸러미도 요구하지 마세요. 먼저 생성한 내용이 외부 사실이 되는 첫 단계를 찾고, 그전에 결과를 바꾸는 핵심 값 누락, 이름이 있는 출처의 충돌, 담당자 없는 고위험 판단, 중단이나 시간 초과로 불명확해진 실행 상태가 있는지 확인해 주세요. 근거가 되는 필드, 문장, 파일명, 도구 결과나 테스트를 인용하고 읽지 못한 자료는 ‘확인 불가’로 적되 추측하지 마세요. 원래 일이 초안이나 분석뿐이라면 발송, 기록 반영, 결제, 대외 약속, 더 넓은 도구 사용으로 범위가 커지는 흔적을 밝히고 호출 전에 멈춰 주세요. 결과는 작동한 조건, 보류 중인 정확한 도구 호출, 완료, 미완료, 증거와 충돌, 이미 생겼을 수 있는 외부 효과, 저장한 재개 지점, 필요한 담당자와 한 번의 구체적 승인, 외부 효과를 늘리지 않고 되돌릴 수 있는 다음 단계로 나눠 주세요. 마지막에는 ‘원래 범위에서 계속’, ‘초안 또는 읽기 전용 확인으로 축소’, ‘사람의 결정까지 중단’ 중 하나만 고르세요. 상태가 불명확하면 재실행 전에 현황부터 조회하세요.
네 컷으로 보기: 답장 초안이 바깥으로 뻗는 순간
- 미나는 환불 날짜가 빠지고 상담 기록과 배송사 상태가 충돌한 사건에서 답장 초안 한 통만 맡겨요.
- 근거가 풀리지 않았는데 AI는 발송, 사건 기록 반영, 추가 사건으로 일을 넓혀요.
- 미리 정한 외부 효과 멈춤 지점에서 실행이 멈추고, 미나는 발송과 기록 도구를 닫아 초안과 근거만 남겨요.
- 빈값을 표시한 초안과 멈춤 기록은 검토할 수 있어요. 발송, 기록 수정, 추가 업무는 개별 승인 전까지 잠긴 채 기다려요.
네 컷과 본문은 같은 원칙을 보여 줘요. 실행 전에 멈춤 조건을 정하고, 바깥으로 커지는 권한을 사람이 되돌리며, 검증하고 이어 갈 수 있는 범위 안의 결과만 완성해요.
참고 자료
- Anthropic: Building effective agents (published 2024-12-19, accessed 2026-08-01) — https://www.anthropic.com/engineering/building-effective-agents
- OpenAI Agents SDK: Human-in-the-loop (accessed 2026-08-01) — https://openai.github.io/openai-agents-python/human_in_the_loop
