보안 회사 Varonis의 연구팀이 SearchLeak이라는 공격 시연을 공개했다. 대상은 Microsoft 365 Copilot의 기업용 검색이다. 공격자는 마이크로소프트 도메인을 가리키는 검색 링크를 만들고 검색어 안에 지시를 숨긴다. 피해자가 한 번 누르기만 하면 Copilot은 그 지시를 프롬프트로 받아 피해자의 메일함을 검색하고, 찾은 내용을 답변 속 이미지의 주소에 넣는다. 브라우저는 답변이 다 표시되기 전에 그 이미지를 불러오고, 데이터는 허용된 Bing 도메인을 거쳐 공격자의 서버로 간다.

연구자들에 따르면 빠져나갈 수 있는 것은 메일 제목과 본문(로그인용 일회용 인증번호 포함), 캘린더와 회의 세부 정보, 기업 클라우드 저장소에서 색인된 파일이다. 마이크로소프트는 이 취약점을 CVE-2026-42824로 등록하고 심각 등급으로 분류해 수정했다.

취약점은 고쳐졌지만 드러난 문제는 남아 있다. 업무용 AI는 사용자의 계정으로 움직이므로 사용자가 읽을 수 있는 것은 모두 읽을 수 있다. 그러니 업무용 AI 검색을 도입하기 전에, 사람은 볼 수 있어도 AI 검색 범위에 들어가면 안 되는 것을 먼저 정해야 한다.

차이는 권한이 아니라 판단에 있다

사람은 비밀번호 재설정 메일을 보면 민감한 정보라는 것을 알고 남에게 전달하지 않는다. AI는 그것을 글자로만 다루며, 지시를 받으면 요약하고, 바꿔 말하고, 주소 안에 넣기까지 한다. 차이는 권한이 아니라 판단에 있다.

“직원들에게 수상한 링크를 누르지 말라고 가르치기"만으로 부족한 이유도 여기에 있다. SearchLeak의 링크는 마이크로소프트 자체 도메인을 가리켜 전혀 이상해 보이지 않았다. 조종당한 것은 AI가 데이터를 읽고, 정리하고, 답변을 만드는 구간이다. 데이터 유출에는 세 가지 조건이 동시에 필요하다. AI가 기밀을 볼 수 있고, 믿을 수 없는 내용을 읽고, 무언가를 밖으로 보낼 수단이 있어야 한다. 이 사례는 세 가지가 모두 갖춰졌다. ChatGPT의 Lockdown Mode는 데이터의 출구를 닫는다, 그래도 AI는 속을 수 있다를 참고하자.

데이터를 세 단계로 나누고, AI가 손댈 수 있는 것을 정한다

일반 업무 데이터: 공개 문서, 회의 안건, 평소 프로젝트 현황. AI가 검색하고 요약해도 되지만 출처를 달게 한다.

내부 민감 데이터: 고객 명단, 견적, 계약서 초안, 내부 재무, 직원 데이터. AI가 내부에서 찾는 것을 도와도 되지만, 읽을 수 있는 범위를 제한하고, 검색 기록을 남기고, 불필요한 외부 연결을 끈다.

고위험 데이터: 일회용 인증번호, 비밀번호 재설정 메일, 키, 공개 전 거래나 법무 정보. 이 단계는 출처에서부터 떼어 놓는다. AI가 색인하지 않는 메일함이나 폴더에 두거나, 규칙으로 이런 메일을 검색 범위에서 뺀다.

세 단계로 나눈 뒤 하나를 더 확인한다. AI 답변이 외부 이미지, 링크, 양식을 불러올 수 있는가. 그렇다면 답변 자체가 출구가 될 수 있다. 이는 대개 Microsoft 365를 관리하는 사람이 관련 설정과 허용 도메인을 확인해야 한다.

광고

먼저 점검하고 그다음 넓힌다

다음과 같은 상황이라면 업무용 AI 검색을 쓰는 사람을 서둘러 늘리지 않는다. AI가 실제로 무엇을 읽을 수 있는지 아무도 분명히 말하지 못한다. 고위험 메일과 일반 메일이 같은 메일함에 섞여 있다. AI 검색의 이상 기록을 볼 담당자가 없다.

먼저 한 부서, 일반 업무 데이터부터 시작하고, 이상한 검색과 외부 요청을 정기적으로 확인할 담당자를 한 명 정한 뒤, 경계가 효과가 있는지 확인되면 넓힌다.

여기서 다루는 것은 범위이지 취약점이 아니다

이 글이 다루는 것은 데이터 범위다. 개별 취약점의 수정은 공급자의 몫이고, 우리가 통제할 수 있는 것은 AI가 얼마나 읽을 수 있는지, 답변이 어디로 연결될 수 있는지다. 범위를 잘 그어도 새로운 공격 수법은 계속 나오므로 모니터링을 빼먹을 수 없다.

클라우드 플랫폼에서 직접 모델을 배포한다면, 누가 어디서 데이터를 처리하는지는 또 다른 질문이다. Microsoft Foundry에서 Claude를 켜도, 데이터 처리자는 여전히 Anthropic이다를 참고하자.

AI 정리 카드

업무용 AI가 회사 메일함과 문서를 검색하게 하려고 한다(또는 이미 그렇게 하고 있다). 어떤 데이터를 검색 범위에 넣으면 안 되는지 먼저 확인하고 싶다.
판단 방법은 이 글에서 가져왔다: https://boosterminiclass.com/ko/posts/copilot-searchleak-data-boundary-checklist/
글의 관점은 이렇다. 업무용 AI는 사용자의 계정으로 움직이므로 사용자가 읽을 수 있는 것은 모두 읽을 수 있고, 외부 내용에 유도돼 데이터를 답변에 담아 밖으로 보낼 수도 있다. 그러니 사람은 볼 수 있어도 AI 검색 범위에 넣으면 안 되는 것을 먼저 정하고, AI 답변이 외부 자원을 불러올 수 있는지 확인한다.

먼저 나에게 물어 달라. 어떤 업무용 AI 도구를 쓰는지, 어떤 메일함과 문서 저장소에 연결했는지, 지금 누가 설정을 관리하는지.
그다음:
1. "일반 업무 데이터", "내부 민감 데이터", "고위험 데이터" 세 단계로 우리에게 있을 법한 데이터 유형을 적고, 단계마다 다루는 방법을 제안할 것;
2. 인증번호, 비밀번호 재설정 메일, 키처럼 출처에서부터 AI 검색에서 빼야 할 데이터와, 뺄 수 있는 방법을 적을 것;
3. 관리자가 확인해야 할 설정을 적을 것. AI 답변이 외부 이미지나 링크를 불러올 수 있는지, 어떤 도메인을 허용하는지, 검색 기록은 어디에 있는지;
4. 시범 범위와 이상 기록을 볼 담당자 한 명을 제안하고, 사용을 넓히기 전에 확인할 조건을 적을 것.
확실하지 않은 설정은 모두 "관리자 확인 필요"로 표시하고 추측하지 말 것.
광고

Share

이 미니 클래스 공유

이 글이 업무 병목을 푸는 데 도움이 되었다면, AI를 어떻게 쓸지 고민하는 사람에게도 공유해 주세요.

참고 자료