고객에게 보낼 산업 보고서 초안이 AI의 도움으로 완성됐다. 문단은 매끄럽고, 인용은 가지런히 정리돼 있고, 유명 기업이 AI를 도입한 사례도 몇 개 들어 있다. 검토하는 관리자는 한 번 읽고 몇 군데 말투를 고치고 그래프 하나를 더한 뒤 보낼 준비를 했다.

이 과정에는 가장 중요한 단계가 빠져 있다. 인용 자체가 틀렸다면, 매끄러운 문장은 오히려 오류를 더 믿기 쉽게 만든다. AI의 도움으로 쓴 보고서는 검토 순서를 뒤집어야 한다. 먼저 인용, 실명 사례, 숫자를 원자료까지 거슬러 올라갈 수 있는지 확인하고, 그러지 못하는 문장은 최종본에 넣지 않는다. 문장 다듬기는 맨 마지막이다.

인용 45개 중 정확한 것은 5개

2026년 6월, 회계·컨설팅 기업 KPMG는 2025년 10월에 발표한 AI 도입 보고서를 철회했다. AI 탐지 도구를 만드는 GPTZero가 이 보고서의 인용 45개를 조사한 결과, 실제 출처를 정확히 가리킨 것은 5개뿐이었다. 다른 28개는 제목이 바뀌어 있거나 실제 출처에 지어낸 세부 내용이 섞여 있었고, 12개는 너무 모호해서 확인할 수 없었다. 보고서 주장의 약 절반은 인용이 가짜이거나 출처가 뒤바뀐 것으로 보였다.

TechCrunch 보도에 따르면, 보고서에 이름이 오른 스위스 은행 UBS, 영국 국민보건서비스(NHS), 스위스 연방철도, 런던교통공사는 자신들의 AI 사용에 관한 서술이 사실과 다르거나 오해를 부른다고 밝혔다. KPMG는 보고서를 웹사이트에서 내리고 내부 조사를 시작했으며, 모든 직원이 책임 있는 AI 사용 지침을 따르기를 기대한다는 입장을 냈다.

GPTZero는 이 현상에 이름을 붙였다. vibe citing, 말하자면 “느낌으로 인용하기"다. 인용은 인용처럼 보이지만, 실제 출처에 가짜 제목이나 엉뚱한 저자가 붙어 있거나 결론이 지나치게 늘려 해석돼 있다.

인용이 있다고 누군가 확인한 것은 아니다

AI가 쓴 문서를 검토할 때 많은 사람은 오타, 논리, 회사다운 말투인지부터 본다. 모두 중요하지만, 신뢰를 가장 쉽게 해치는 곳은 거기가 아니다.

가장 위험한 것은 “근거가 있어 보이는” 오류다. 인용이 아예 없는 것보다 찾아내기가 더 어렵기 때문이다. 예를 들어 인용한 연구는 실제로 있지만 결론이 크게 바뀌어 있다. 사례에 나오는 회사는 실재하지만 보고서가 말하는 일을 한 적이 없다. 숫자는 그럴듯하지만 원래 표도 발표 날짜도 찾을 수 없다. 각주가 가지런할수록 읽는 사람은 누군가 이미 확인했다고 믿는다.

광고

믿게 될 문장을 뽑아내서 확인한다

보고서를 처음부터 끝까지 읽으면 매끄러운 문장에 끌려가기 쉽다. 더 효과적인 방법은 확인할 것을 먼저 뽑아 대조표에 정리하는 것이다.

  • 출처: 기사, 연구, 법령이 실제로 있는가. 그 내용이 앞 문장을 뒷받침하는가.
  • 실명 사례: 회사, 기관, 고객이 본문에 적힌 일을 정말 했는가. 시범 도입을 전면 도입으로 쓰는 것이 가장 흔한 오류다.
  • 숫자와 시점: 비율, 금액, 날짜를 원래 데이터까지 추적할 수 있는가. 오래된 숫자를 지금 상황처럼 쓰지 않았는가.

항목마다 적어도 네 가지를 기록한다. 보고서 속 원래 문장, 출처 링크, 출처 안에서 대응하는 문장, 확인 결과다. 대응하는 문장을 찾지 못하면 그 문장은 최종본에 남기지 않는다.

오류는 세 단계로 다룬다

모든 오류가 똑같이 심각하지는 않다. 단계를 나눠 다뤄야 작은 수정에 시간을 쓰다가 정말 문제가 될 문단을 놓치는 일을 막을 수 있다.

  • 바로 고친다: 인용 형식이 불완전하다, 날짜 형식이 틀렸다, 링크 하나가 빠졌다. 고친 뒤 출처를 다시 열어 확인하고 넘어간다.
  • 다시 쓰게 돌려보낸다: 사례의 원래 출처를 찾을 수 없거나, 출처가 주장의 일부만 뒷받침한다. 출처가 감당할 수 있는 형태로 다시 쓴다.
  • 공개를 멈춘다: 이름이 오른 기관이 부인한다, 숫자가 사업 결정에 영향을 준다, 의료, 법률, 재무, 보안 관련 결론을 증명할 수 없다. 문서를 밖에 내보낼지, 관련된 사람에게 알릴지 정할 수 있는 사람에게 넘긴다.

팀 절차에 넣는다면 한 문장이면 충분하다. AI의 도움으로 만든 대외 문서에서, 출처에 대응하는 문장을 찾지 못한 인용과 사례는 최종본에 넣지 않는다. “AI 환각을 조심합시다"라고 하는 것보다 훨씬 실행하기 쉽다.

어떤 문서가 하나하나 확인할 가치가 있나

하나하나 대조하려면 시간이 들고, 사내 메모까지 전부 그렇게 하기는 현실적이지 않다. 공들일 가치가 있는 것은 밖으로 나가거나, 인용되거나, 결정의 근거가 되는 문서다. 백서, 제안서, 연구 보고서, 보도자료, 고객이나 협력사, 정부 기관의 이름이 나오는 발표 자료 같은 것들이다. 사내 회의 요약이나 설문 초안은 원자료가 남아 있고 읽는 사람이 초안이라는 걸 안다면 느슨하게 해도 된다.

시간이 모자라면 확인하지 않은 그럴듯한 사례를 잔뜩 남기기보다 보고서 범위를 줄이는 편이 낫다. 사례가 하나 적은 정직한 보고서가 틀린 사례 열 개가 들어간 완전한 보고서보다 훨씬 안전하다.

다음에 AI의 도움으로 쓴 보고서를 넘기기 전에 대조표 한 장을 첨부하자. AI 리서치 도구로 모은 자료로 쓴 보고서라면 출처 자체가 오염됐을 수도 있다. AI 리서치 보고서에 붙은 출처는 어디서 읽었는지 보여 줄 뿐, 그것이 사실이라고 보여 주지 않는다를 참고하자. 조사 범위가 계속 넓어지기만 하고 끝나지 않는다면 AI 리서치가 끝없이 불어난다면, 그것이 뒷받침할 결정 하나부터 적는다도 참고할 만하다.

AI 정리 카드

보고서의 인용을 대조표로 정리하는 일을 AI에게 맡기기 이 프롬프트는 보고서의 용도를 확인한 뒤, 인용, 실명 사례, 숫자를 뽑아 한 줄씩 확인할 수 있는 표로 정리한다.

AI의 도움으로 쓴 보고서가 있는데, 보내기 전에 인용, 사례, 숫자를 확인하고 싶다.
판단 방법은 이 글에서 가져왔다: https://boosterminiclass.com/ko/posts/ai-report-citation-failure-review-checklist/
글의 관점은 이렇다. AI의 도움으로 쓴 보고서에서 가장 위험한 것은 근거가 있어 보이는 오류다(KPMG가 철회한 보고서는 인용 45개 중 5개만 정확했다). 검토할 때는 먼저 인용, 실명 사례, 숫자를 원자료까지 추적할 수 있는지 확인하고, 그러지 못하는 문장은 최종본에 넣지 않는다. 문장 다듬기는 마지막이다.

먼저 나에게 질문 3개를 해 달라:
1. 이 보고서는 누구에게 가고, 어떤 결정에 쓰이는가;
2. 실명으로 나오는 회사, 기관, 고객, 협력사가 있는가;
3. 대조할 원자료나 출처 링크가 내 손에 있는가.

그다음, 맨 끝에 첨부하는 보고서 본문을 바탕으로 다음을 해 달라:
- 모든 인용, 실명 사례, 숫자를 한 줄씩 나열: 원래 문장 / 표시된 출처 / 찾아야 할 증거 / 확인 상태(처음엔 "미확인");
- 틀렸을 때 결정이나 대외 신뢰에 영향을 줄 항목을 표시해 먼저 확인하도록 할 것;
- 세 단계 처리에 따라 각각의 처리 방법을 제안: 바로 고친다 / 다시 쓰게 돌려보낸다 / 공개를 멈춘다.
출처가 진짜인지 가짜인지 판단하지 말 것. 보지 않은 출처를 덧붙이지 말 것. 확인은 나나 책임자가 원자료를 열어서 한다.

대조표는 도구일 뿐이다. 보고서를 밖에 내보낼지는 그 문서를 책임지는 사람이 정한다.

광고

Share

이 미니 클래스 공유

이 글이 업무 병목을 푸는 데 도움이 되었다면, AI를 어떻게 쓸지 고민하는 사람에게도 공유해 주세요.

참고 자료