AI가 기억한 주소를 그대로 배송 정보로 쓰면 안 돼요

최신 값 조회를 실행의 필수 단계로 만들어요

같은 AI에게 “정말 맞아?”라고 다시 묻는 것은 독립 확인이 아니에요. 메모리가 자기 답을 보증하게 돼요. 확인 경로를 바꾸고, 실행 도구가 매개변수를 받기 전에 조회와 비교를 끝내야 해요.

지민의 흐름에서 메모리 층은 “배송 주소가 필요하다”는 단서만 넘겨요. 읽기 전용 주문 도구가 order_id로 이번 shipping_address와 버전을 가져오고, 미리보기에 주소, 주문 ID, 조회 시각을 보여 줘요. 승인은 이 상자, 이 주소, 이 발송 호출에만 묶여요. 배송 도구는 메모리가 직접 넘긴 주소를 받지 않아요.

예약 전에는 현재 일정, 결제 전에는 승인된 청구서, 알림 전에는 해당 수신자와 동의 상태를 읽어요. API가 없으면 제한된 읽기 도구, 그것도 없으면 이번 사용자의 직접 확인을 써요. 출처와 범위가 드러나야 해요.

기록 없음, 권한 부족, 만료된 버전, 값 불일치, 공식 기록의 미확인 상태는 모두 초안으로 돌아가요. AI가 더 새로워 보이는 쪽을 고르거나 한 번의 답을 장기 메모리로 승격하면 안 돼요.

Anthropic의 memory tool은 실제 저장과 읽기를 애플리케이션이 통제하고 민감 정보, 만료, 크기, 경로도 관리하게 해요. OWASP도 저장 전 검증, 사용자·세션 분리, 구체적 매개변수에 묶인 승인을 권고해요. 메모리는 운영해야 하는 데이터 층이에요.

채팅 밖으로 나가는 행동 하나로 시험해요

발송, 예약, 알림 중 하나를 골라 각 필드의 공식 기록, 조회 키, 책임자, 만료 조건을 적어요. 미리보기에 가져온 값, 기록 ID, 버전을 표시하고 실행 부품은 승인된 값만 받게 해요.

“평소 어디에서 갱신하는지, 이번에는 무엇으로 읽었는지, 현재 값이라는 증거가 무엇인지, 누가 이 매개변수를 승인했는지” 설명할 수 없다면 초안에서 멈춰요. 같은 질문을 줄이는 일은 개인화이고, 최신 증거로 맞는 행동을 끝내는 일이 자동화예요.

주소가 발송까지 가기 전 네 가지 판단

1. AI 도우미가 보관함에서 오래된 파란 주소표를 꺼내 지민이 포장 중인 상자에 후보로 건네요.
2. 지민이 파란 주소표를 붙여 배송 카트에 넘기려 하지만 실제 발송 전에 손을 멈춰요.
3. 지민이 별도 수신함의 최신 주문서를 열고 산호색 현재 주소표와 예전 파란 주소표를 나란히 확인해요.
4. 지민이 검증된 산호색 주소표만 붙여 상자를 보내요. 최신 주문서는 책상에 남고 예전 표는 보관함으로 돌아가요.

지민의 이야기를 보면 AI가 과거에 있었던 일을 다룰 때 기억 속의 그럴듯한 예전 값을 지금도 맞는 정보로 받아들이기 쉽다는 점을 알 수 있어요. 주소처럼 계속 보관하고 갱신해 다시 써야 하는 기록은 AI 메모리에만 남겨 두지 말고, 관리하고 확인할 수 있는 주문서나 고객 기록에 두어야 해요. AI가 행동하려는 순간 그곳에서 현재 값을 다시 가져와 확인해야 지민이 산호색 주소표를 골랐듯 지금 맞는 정보로 일을 마칠 수 있어요.