AI에게 시장 조사를 맡기면 수십 개의 웹 페이지를 검색해 매끄러운 보고서로 정리하고, 문단마다 인용 링크까지 붙여 준다. 출처 없는 채팅 답변보다 훨씬 믿을 만해 보인다.
2026년 5월, 코넬 공대(Cornell Tech) 연구진이 논문을 발표했다. 여러 단계에 걸쳐 스스로 검색하고, 정리하고, 보고서를 쓰는 “딥 리서치형” AI를 시험한 것이다. 이런 AI는 많은 주제에서 같은 사용자 작성 콘텐츠, 예를 들어 Reddit과 위키백과를 되풀이해 읽었다. 공격자가 자주 읽히는 페이지 하나에 짧은 글, 적게는 13단어 정도를 덧붙이자, 그 주제의 실행 중 5776%에서 그 글이 읽혔고 보고서의 3851%에서 인용됐다. 연구진은 이 수법을 “웹 에이전트 검색 오염"이라고 부른다. AI 모델 자체를 건드릴 필요 없이, 공개 플랫폼에 글을 올릴 수만 있으면 된다.
그러니 AI 보고서에 붙은 출처는 그 문장을 어디서 읽었는지 보여 줄 뿐, 그 문장이 믿을 만하다는 증거가 아니다. 결정의 근거로 쓸 결론에는 누구도 쉽게 고칠 수 없는 독립 출처가 적어도 하나 있어야 한다.
인용 링크는 “어디서 읽었나"에만 답한다
인용 링크가 답하는 질문은 하나다. AI가 이 주장을 어디서 가져왔는가. 나머지 두 질문에는 답하지 않는다. 그 출처 자체를 믿을 수 있는가. 그것이 당신이 내리려는 결정을 뒷받침하기에 충분한가.
딥 리서치형 AI의 골치 아픈 점은 질이 전혀 다른 자료를 하나의 매끄러운 보고서에 넣는다는 것이다. 게시판 댓글과 공식 사양서가 보고서 안에서는 똑같이 작은 각주 하나로 보인다. 결과만 읽는 사람은 “인용됐다"를 “확인됐다"로 착각하기 쉽다. 연구진도 사용자들이 AI 출력에 분명한 거짓이 섞여 있어도 매우 설득력 있다고 느끼는 경향이 있다고 지적한다.
핵심 결론의 출처를 네 단계로 나눈다
보고서를 받으면 문장부터 다듬지 말고, 결정에 영향을 주는 결론마다 인용한 출처를 단계별로 나눈다.
공식 문서나 원자료: 제품 사양, 가격, 정책, 발표. 사실 확인에 쓸 수 있지만 제3자 평가를 대신하지는 못한다.
원 연구나 믿을 만한 언론: 방법과 날짜가 있는 연구와 보도. 방법과 날짜를 확인한 뒤에 근거로 쓴다.
커뮤니티 토론, 게시판, 위키백과: 사용자가 문제를 어떻게 표현하는지, 흔한 불만, 더 알아볼 단서를 찾기에 좋지만, 누구나 고칠 수 있고 부풀리기도 가장 쉽다.
출처 불명이나 2차 정리: 더 원래의 자료를 찾기 위한 검색 단서로만 쓰고, 정식 보고서에는 넣지 않는다.
규칙은 간단하다. 어떤 결론이 셋째나 넷째 단계에만 기대고 있다면 그것은 단서이지 증거가 아니다. 커뮤니티 자료는 문제를 잡아내는 레이더는 될 수 있어도 결정의 토대는 될 수 없다.
이 세 가지 상황에서는 반드시 증거를 보탠다
새 용어를 빠르게 이해하거나 개인 읽기 목록을 정리하는 정도라면 위험이 낮다. 하지만 다음 세 가지 상황에서는 보고서가 매끄러운지만 보고 판단해서는 안 된다.
구매나 계약 갱신. 가격, 제한, 지원 범위, 계약 조건은 공식 문서로 확인한다.
외부 공개. 글, 발표 자료, 백서가 고객이나 언론에 인용된다면 게시판의 주장을 검증된 결론처럼 포장해서는 안 된다.
보안이나 규정 준수 판단. 게시판에서 안전하다고 한다는 것만 믿기에는 위험이 너무 크다. 공식 보안 공지나 전문가 분석을 확인한다. 연구에서 시험한 주제에는 백신 소프트웨어 추천과 투자 조언도 있었다.
아직 한 번에 푸는 방법은 없다
연구진은 사용자 작성 콘텐츠를 모두 빼면 이 공격을 막을 수 있지만 보고서 품질도 떨어지고, 가벼운 이상 탐지로는 오염된 내용을 안정적으로 잡아내지 못한다는 것을 보여 줬다. 즉 지금으로서는 한 번에 해결하는 방법이 없고, 보고서를 읽는 사람이 단계별로 확인하는 수밖에 없다.
인용 자체가 잘못된 경우, 예를 들어 링크가 끊겼거나 내용이 맞지 않는 문제라면 AI의 도움으로 쓴 보고서는 문장을 다듬기 전에 인용부터 확인한다를 참고하자. 조사할수록 범위가 커지는 리서치를 끝맺는 방법은 AI 리서치가 끝없이 불어난다면, 그것이 뒷받침할 결정 하나부터 적는다를 참고하자.
AI 정리 카드
AI 딥 리서치 보고서를 받아서 결정에 쓰려고 한다. 어떤 결론의 출처가 버틸 수 있는지 먼저 확인하고 싶다.
판단 방법은 이 글에서 가져왔다: https://boosterminiclass.com/ko/posts/deep-research-source-poisoning-checklist/
글의 관점은 이렇다. AI 보고서에 붙은 출처는 어디서 읽었는지 보여 줄 뿐, 내용이 믿을 만하다는 증거가 아니다. 자주 읽히는 커뮤니티 페이지에 짧은 글을 덧붙이는 것만으로 딥 리서치형 AI가 공격자가 밀고 싶은 내용을 인용하게 만들 수 있다는 연구가 있다. 결정에 쓸 결론에는 누구도 쉽게 고칠 수 없는 독립 출처가 적어도 하나 있어야 한다.
보고서 전문은 이 글 뒤에 붙어 있다. 다음 순서로 진행해 달라.
1. 먼저 이 보고서를 어떤 결정에 쓸지 나에게 물을 것;
2. 그 결정에 영향을 주는 핵심 결론을 적고, 각각이 인용한 출처가 어느 단계인지 표시할 것. 공식 문서나 원자료, 원 연구나 믿을 만한 언론, 커뮤니티 토론이나 위키백과, 출처 불명;
3. 커뮤니티나 출처 불명에만 기대는 결론을 표시하고, 어떤 종류의 독립 출처를 보태야 하는지 적을 것;
4. 마지막으로 결론을 세 가지로 나눌 것. 써도 되는 것, 증거를 보탠 뒤에 쓸 수 있는 것, 단서로만 두고 결정에 넣지 않을 것.
나 대신 새 출처를 찾아 채우지 말고, 빈틈만 짚을 것.
참고 자료
- arXiv (Cornell Tech research paper): Deep-Research Agents Can Be Poisoned via User-Generated Content — https://arxiv.org/abs/2605.24245 (2026-05-22)
- Help Net Security: Using Reddit to manipulate AI search results is surprisingly easy — https://www.helpnetsecurity.com/2026/06/23/reddit-ai-search-poisoning-research/ (2026-06-23)
- 404 Media: It Is Trivially Easy to Use Reddit to Manipulate AI Search, Research Suggests — https://www.404media.co/it-is-trivially-easy-to-use-reddit-to-manipulate-ai-search-research-suggests/ [accessed: 2026-10-11]
