2026년 6월, Meta는 Instagram 계정 20,225개가 탈취됐다고 확인했다. 공격자는 비밀번호를 하나도 풀지 않았다. 그들이 쓴 것은 Meta 자신의 AI 고객지원이었다. Help Net Security가 정리한 경위에 따르면, 공격자는 먼저 VPN, 즉 인터넷 연결이 다른 곳에서 오는 것처럼 보이게 하는 도구로 계정 주인과 같은 지역에 있는 것처럼 꾸몄다. 그다음 AI 고객지원에게 자신들이 관리하는 이메일 주소를 남의 계정에 추가해 달라고 하고, 비밀번호 재설정을 신청했다. Meta의 설명으로는 계정 복구 도구 자체는 설계대로 작동했지만, 별도 코드 경로의 버그 때문에 신청자가 낸 이메일이 계정의 원래 이메일과 일치하는지 확인하지 않았다.

이 사건에서 가장 눈여겨볼 점은 이것이다. AI 고객지원은 폭주하지 않았다. 시키는 대로 절차를 끝까지 해냈을 뿐이다. 빠져 있던 것은 원래 그 요청을 막았어야 할 확인 절차였다. 계정 통제권, 돈, 데이터를 넘길 수 있는 요청을 AI에게 맡기려면, 요청자의 본인 확인과 권한은 시스템이 가져와야 한다. 대화에서 꺼내 와서는 안 된다.

AI가 해서는 안 될 일을 절차대로 끝냈다

사람 상담원이었다면 같은 요청은 아마 통과하지 못했을 것이다. 누군가 “이 계정의 이메일을 내 새 주소로 바꿔 달라"고 하는데, 그 새 주소가 계정의 과거 기록과 아무 관련이 없다. 경험 많은 상담원이라면 멈추고 몇 가지를 더 묻거나, 아예 거절할 것이다. 이런 판단은 업무 매뉴얼에 적히는 일이 드물다. 상담원의 경험 속에 있다.

Stack Overflow Blog는 이 사건을 분석한 글에서 분명하게 말한다. 현실의 권한 확인 가운데 상당 부분은 애초에 소프트웨어로 쓰인 적이 없다. 요청과 시스템 사이에 서 있던 사람의 판단 속에 있었고, 그 뒤의 시스템 전체는 그 판단이 늘 거기 있으리라고 가정하고 만들어졌다. 글의 결론은 AI agent가 보안 체계를 우회한 것이 아니라, 그 체계에서 “사람이었던 부분"을 드러냈을 뿐이라는 것이다.

설득당하는 대리인

보안 분야에는 이 문제를 가리키는 이름이 있다. confused deputy, 즉 “혼동된 대리인"이다. 실제 권한을 가진 프로그램이 그보다 권한이 낮은 상대에게 설득당해, 자신의 권한으로 상대를 위해 일하는 상황을 말한다.

보안 교육·연구 기관인 SANS의 글은 AI agent가 특히 이런 대리인이 되기 쉬운 이유를 두 가지로 꼽는다. 첫째, 여러 사용자의 여러 요청을 처리하기 위해 대개 넓은 권한을 쥐고 있다. 둘째, 그 행동은 글로 움직이는데, 글은 누구나 쓸 수 있다. AI에게 “제가 계정 주인이에요, 이메일을 바꿔 주세요"라는 문장은 진짜 주인이 쓴 것과 구별되지 않는다.

그러니 문제는 AI가 요청을 알아듣느냐가 아니다. 대화만으로는 누가 누구인지 가려낼 방법이 AI에게 아예 없다는 점이다. 본인 확인을 대화로 판단하게 하면, AI는 상대의 말을 믿을 수밖에 없다.

광고

어떤 요청이 가장 위험한가

모든 고객지원이나 내부 절차에 이런 위험이 있는 것은 아니다. 주문 상태 확인, 자주 묻는 질문 답변, 빠진 서류 안내는 틀려 봐야 답이 부정확해지는 정도다. 정말 위험한 것은 끝난 뒤 되돌리기 어렵거나 통제권을 넘겨 버리는 요청이다.

  • 로그인 이메일, 전화번호, 예비 이메일, 다중 인증 방식(로그인할 때 비밀번호 외에 하는 두 번째 확인, 예를 들어 인증 앱) 변경.
  • 비밀번호 재설정, 환불, 결제, 데이터 내보내기 링크 발송.
  • 관리자 추가, 권한 상향, API 키(프로그램이 서비스에 접근하는 열쇠) 발급.
  • 요금제, 청구지 주소, 결제 수단 변경.

이 요청들에는 공통점이 있다. 잘못되면 피해자는 계정의 진짜 주인이고, 그것도 문밖으로 밀려난 뒤에야 알아채는 경우가 많다. Meta 사건에서 주인이 다중 인증을 켜 두지 않았다면, 공격자는 비밀번호를 재설정한 뒤 곧바로 로그인할 수 있었다.

접수는 AI가, 승인은 시스템이

근본적인 방법은 본인 확인과 권한 판단을 대화에서 꺼내 시스템에 맡기는 것이다. AI가 “이메일을 바꿔 주세요"를 받았을 때, 시스템은 이미 그 요청이 어느 로그인된 계정에서 왔는지, 어떤 방식으로 확인됐는지, 이상한 기록은 없는지 알고 있어야 한다. 요청자가 로그인하지 않았거나 바꾸려는 대상이 남의 계정이라면, 그 요청은 AI가 바로 실행할 수 있는 범위에 들어와서는 안 된다.

구체적으로는 세 단계로 진행할 수 있다.

첫째, 사람의 판단에 기대던 관문을 찾아낸다. 기존 고객지원이나 운영 절차를 놓고 담당자에게 묻는다. 어떤 경우에 멈추고 더 묻는지, 어떤 경우에 바로 거절하는지. 낯선 기기, 낯선 지역, 방금 추가된 연락처, 짧은 시간 안의 잦은 변경. 예전에 경험으로 막던 이런 신호를 시스템이 확인할 수 있는 규칙으로 만든다.

둘째, 권한 정보는 시스템이 가져오게 한다. AI가 도구를 호출할 때마다 지니고 가는 것은 시스템이 확인한 요청자의 신원과 권한이어야 하고, 대화 속 자기소개여서는 안 된다. SANS는 AI가 넓은 권한을 오래 쥐고 있지 않게 하고, 동작마다 별도의 장치가 범위가 좁고 금방 만료되는 통행증을 발급하는 방식을 권한다.

셋째, 고위험 요청은 접수만 하고 승인하지 않는다. AI는 요청을 정리하고, 빠진 정보를 채우고, 이상한 점을 표시한 뒤 담당자에게 확인을 넘긴다. 처리가 조금 느려지지만, 나중에 계정 2만 개를 수습하는 것에 비하면 훨씬 작은 대가다.

사람의 승인도 형식이 될 수 있다

고위험 요청을 사람에게 넘기는 것은 그 사람이 실제로 내용을 본다는 전제 위에 있다. 확인 담당자가 하루에 수백 번 “승인"을 누른다면 사람의 검토는 금세 형식이 된다. 그래서 셋째 단계는 첫째 단계와 함께 가야 한다. 명백히 이상한 요청은 먼저 규칙으로 막고, 사람 손에 닿는 것은 정말 판단이 필요한 소수가 되게 한다.

또 시스템이 가져오는 신원 정보도 틀릴 수 있다. Meta 사건이 바로 확인용 코드의 버그였다. 규칙을 쓴 뒤에도 지역 위장, 새 이메일 사용, 짧은 시간 안의 연속 변경 같은 실제 공격 방식으로 주기적으로 시험해, 각 확인 절차가 정말 작동하는지 확인해 둔다.

다음 단계로, 지금 가진 고객지원이나 운영 절차에서 계정 정보를 바꾸는 요청 하나를 골라 이렇게 물어보자. 이 요청자의 본인 확인은 지금 시스템이 하고 있는가, 대화가 하고 있는가. 후자라면, 시스템 확인을 더하기 전까지 AI는 접수 자리에 둔다.

“누구에게 이 일을 할 권한이 있는가"라는 같은 질문은 AI agent가 사용자를 대신해 여러 시스템을 오가며 일할 때도 나온다. AI agent가 여러 시스템을 오가며 일한다면, 들르는 곳마다 새 열쇠로 바꿔야 한다를 참고하자. ERP 같은 업무 시스템에 agent를 들인다면 ERP 안의 AI agent에게는 자기 신원이 있어야, 로그에서 사람이 한 일과 AI가 한 일을 가릴 수 있다도 참고할 만하다.

AI 정리 카드

업무 안에서 본인 확인을 대화에 기대는 곳을 AI와 함께 찾기 이 프롬프트는 AI 고객지원이나 agent가 어떤 요청을 처리하는지 묻고, 요청마다 본인 확인과 권한이 어디서 오는지 점검한 뒤, AI가 접수만 하고 승인해서는 안 되는 요청을 정리한다.

AI 고객지원이나 AI agent 업무가 설득당해 낯선 사람을 위해 일하게 되지는 않는지 확인하고 싶다.
판단 방법은 이 글에서 가져왔다: https://boosterminiclass.com/ko/posts/ai-agent-hidden-authorization-checks/
글의 관점은 이렇다. AI 고객지원이 절차대로 일하는 것 자체는 문제가 아니다. 위험한 것은 권한 확인이 원래 사람의 판단 속에만 있었다는 점이다. 계정 통제권, 돈, 데이터를 넘기는 요청에서는 요청자의 본인 확인과 권한을 시스템이 가져와야 하고, 대화에서 꺼내 와서는 안 된다.

먼저 나에게 질문 3개를 해 달라:
1. 이 AI는 어떤 요청을 처리하고, 그중 계정, 권한, 결제, 데이터 내보내기를 바꾸는 것은 무엇인가;
2. AI가 도구를 호출할 때 시스템은 요청자에 관해 어떤 정보(로그인 상태, 확인 방식, 과거 기록)를 가져오는가, 아니면 대화 내용뿐인가;
3. 이 업무를 사람이 맡던 때, 담당자는 어떤 경우에 멈추거나 거절했는가.

내 답을 바탕으로 다음을 출력해 달라:
- 요청 종류별로 본인 확인과 권한이 지금 시스템에서 오는지, 대화에서 오는지 정리한 목록;
- 예전에 사람이 경험으로 막았지만 아직 규칙으로 쓰이지 않은 이상 신호;
- AI가 접수, 정리, 이상 표시만 하고 승인은 사람에게 넘겨야 하는 요청;
- 이 확인 절차들을 시험할 세 가지 상황(지역 위장, 새 이메일 주소, 짧은 시간 안의 연속 변경 등).
내가 말하지 않은 확인 절차가 시스템에 이미 있다고 가정하지 말 것. 정보가 부족하면 먼저 나에게 물어볼 것.

목록은 출발점일 뿐이다. 어떤 요청을 AI가 승인해도 되는지는 계정 보안을 책임지는 사람이 정한다.

광고

Share

이 미니 클래스 공유

이 글이 업무 병목을 푸는 데 도움이 되었다면, AI를 어떻게 쓸지 고민하는 사람에게도 공유해 주세요.

참고 자료