
AI 리서치 보고서에 붙은 출처는 어디서 읽었는지 보여 줄 뿐, 그것이 사실이라고 보여 주지 않는다
Reddit처럼 자주 읽히는 페이지에 13단어 정도만 덧붙여도, 딥 리서치형 AI가 보고서의 38~51%에서 공격자가 밀고 싶은 제품을 인용했다는 연구가 있다. AI가 붙인 출처는 어디서 읽었는지 보여 줄 뿐 내용이 믿을 만하다는 증거가 아니다. 결정에 쓸 결론에는 누구도 고칠 수 없는 독립 출처가 적어도 하나 있어야 한다.
category
같은 주제의 미니 클래스를 모아 보고 최신 글부터 맥락을 채울 수 있습니다.
lessons
추천 시작점
AI가 서비스, 에이전트, 데이터 수요가 될 때 독자와 사이트 운영자가 확인해야 할 경계를 정리합니다.

Reddit처럼 자주 읽히는 페이지에 13단어 정도만 덧붙여도, 딥 리서치형 AI가 보고서의 38~51%에서 공격자가 밀고 싶은 제품을 인용했다는 연구가 있다. AI가 붙인 출처는 어디서 읽었는지 보여 줄 뿐 내용이 믿을 만하다는 증거가 아니다. 결정에 쓸 결론에는 누구도 고칠 수 없는 독립 출처가 적어도 하나 있어야 한다.

영국 내무부는 얼굴로 나이를 추정하는 AI로 망명 신청자의 나이 판단을 돕는 시험을 하며, 마지막은 늘 공무원이 정한다고 강조한다. 하지만 탐사 보도에 따르면 이 시스템은 미성년자를 성인으로 보기 쉽고, 일부 집단에서는 오차가 더 크다. AI의 판단이 사람의 대우를 바꾼다면, 누가 뒤집을 수 있는지, 어떤 증거가 필요한지, 당사자가 아는지를 먼저 설계한다.

AI가 내 일하는 방식을 알게 하려고 먼저 완전한 지식 베이스를 만들려다, 분류와 도구 고르기에서 멈추는 사람이 많다. 더 효과적인 출발점은 AI가 틀린 바로 그 한 번이다. 고친 내용을 다음에 읽을 수 있는 구체적인 규칙으로 쓰고, 다음 행동을 바꾸는 것만 남긴다.

AI를 쓰는 사람은 늘었지만, AI가 너무 빨리 발전한다고 느끼는 사람도 그만큼 많다. 사용률 상승이 곧 신뢰는 아니다. AI 기능 확산을 서둘러도 되는지는 쓰지 않을 선택, AI가 한 일의 취소, 실패 시 사람에게 넘길 길이 있느냐로 정해진다.

KPMG가 철회한 AI 도입 보고서는 인용 45개 중 실제 출처를 정확히 가리킨 것이 5개뿐이었다. AI의 도움으로 쓴 보고서에서 가장 위험한 것은 근거가 있어 보이는 오류다. 먼저 인용, 실명 사례, 숫자를 원자료와 대조하고, 대조되지 않는 문장은 최종본에 넣지 않는다.

AI 덕분에 가짜 사이트와 가짜 문자를 빠르고 그럴듯하게 만들 수 있게 됐고, 대만에서는 정부 전용 단축번호까지 위장됐다. 문자가 진짜처럼 보이는지 따지기보다, 요구받은 일을 이 링크를 누르지 않고 할 수 있는지를 물어야 한다.

Anthropic은 한때 Claude Fable 5에 사용자가 볼 수 없는 보호 장치를 두어 특정 용도의 출력을 몰래 나쁘게 만들었고, 나중에 공개 사과하며 보이게 바꿨다. 공급자 쪽의 변화는 보이지 않는다. 손에 쥘 수 있는 것은 내 쪽뿐이다. 중요한 흐름마다 고정 문제와 그때의 답을 남겨 두고, 품질이 바뀐 것 같으면 다시 돌려 비교한다.

YouTube, Meta, TikTok 모두 AI 생성 콘텐츠에 표시를 붙이기 시작했지만, 표시가 알려 주는 것은 AI로 만들었을 수 있다는 사실뿐이고 주의력을 아껴 주지는 않는다. 질 낮은 콘텐츠를 줄이려면 "AI가 만들었나" 대신 "출처가 있나, 책임지는 사람이 있나, 한계를 밝혔나"를 묻고, 그에 따라 내 정보 입구를 정리한다.

영국 규제 당국은 사이트가 AI 검색 요약에 쓰이지 않게 할 수 있도록 Google에 요구했고, Google은 Search Console에 스위치를 만들어 이미 전 세계로 넓혔다. 빠지면 그 기능에서 오던 노출과 방문은 잃는다. 사이트 전체를 한꺼번에 정하지 말고 페이지마다 묻는다. 이 페이지가 요약된 뒤에도 독자가 클릭해서 들어올 이유가 남는가.

뉴욕의 한 스타트업은 청소 인력이 카메라를 쓰고 작업을 녹화하는 조건으로 무료 방문 청소를 한다. 영상은 익명 처리한 뒤 AI와 로봇 회사에 학습용으로 라이선스된다. 흐림 처리는 얼굴과 서류는 가려도 집 구조와 생활 습관은 가리지 못하고, 라이선스된 뒤에는 지울 수 있다는 보장도 없다. 받아들이기 전에 라이선스 대상과 삭제 방법을 분명히 묻는다.

AI가 언제 멈추고 사람에게 물어야 하는지는 모델이 스스로 "확실하지 않다"고 말하는 데 기댈 수 없다. 멈출 조건을 시스템이 볼 수 있는 사건으로 적어 둔다. 핵심 항목 누락, 출처 간 모순, 다음 단계가 밖으로 무언가를 보내는 일, 중단 뒤 상태를 알 수 없음. 멈출 때는 다른 사람이 이어받을 수 있는 기록도 남긴다.

사이트에 API나 MCP가 필요한지는 AI가 할 일이 공개 내용을 읽는 것인지, 바뀌는 데이터를 조회하는 것인지, 사람 대신 실행하는 것인지에 달렸다. 세 입구가 지는 책임은 다르고, 대부분의 사이트가 먼저 고칠 것은 AI가 읽을 수 있는 공개 페이지다.