많은 팀이 AI를 회사 데이터에 연결할 때 처음 기대하는 것은 이렇다. “이제 모두가 AI에게 바로 물어보면 데이터팀 보고서를 기다리지 않아도 되겠네.”

그 기대는 자연스럽다. 영업은 이번 달 전환율을 알고 싶고, 고객지원은 어떤 문제가 늘었는지 보고 싶고, 제품 담당자는 새 기능의 유지율을 확인하고 싶다. 이런 질문마다 데이터 동료가 쿼리를 작성해야 한다면 속도는 느릴 수밖에 없다.

하지만 Anthropic이 최근 공유한 내부 사례는 중요한 점을 알려 준다. AI가 회사 숫자를 답할 수 있는지는 모델이 쿼리 문법을 잘 쓰는지의 문제만이 아니다. 진짜 위험은 AI가 어떤 표가 공식 출처인지, 어떤 지표 정의를 회사가 채택했는지 모른 채 매우 자연스러운 말투로 틀린 숫자를 말하는 데 있다.

Anthropic에 따르면 Claude는 현재 내부 비즈니스 분석 문의의 약 95%를 자동으로 처리하고, 전체 정확도도 약 95%다. 더 주목할 점은, 분석 절차와 배경 지식이 준비되지 않았을 때 같은 Claude의 내부 평가 정확도가 21%를 넘지 못했다는 것이다. 지표 정의, 데이터 출처, 분석 절차를 AI가 숫자를 조회하기 전에 먼저 읽는 운영 설명 파일로 정리한 뒤—Anthropic은 이것을 skills라고 부른다—정확도가 95% 이상으로 안정되었다.

이 글은 Anthropic의 데이터 플랫폼을 그대로 베끼자는 이야기가 아니다. 더 일반적인 질문으로 바꾸려는 것이다. AI에게 회사 숫자를 묻기 전에, 먼저 “어디에서 찾고, 어떻게 찾고, 누가 확인하는지”를 고정해야 한다.

셀프서비스 분석은 “아무나 아무거나 묻기”가 아니다

셀프서비스 분석은 데이터팀이 아닌 사람도 운영 숫자를 직접 확인할 수 있다는 뜻이다. 영업, 고객지원, 마케팅, 제품 동료가 매번 데이터팀에 티켓을 열지 않아도 된다.

예전에는 대시보드나 리포트 도구가 주로 쓰였다. AI가 들어오면 사용자는 “지난주 신규 고객은 어느 채널에서 왔어?” 또는 “어떤 고객지원 문제가 늘었어?”처럼 자연어로 물을 수 있다. 훨씬 편해 보인다.

문제는 회사 데이터가 깨끗한 사전처럼 정리되어 있지 않다는 점이다. 팀마다 “활성 사용자” 계산법이 다를 수 있다. 오래된 표와 새 표가 함께 남아 있을 수 있다. 같은 고객이라도 CRM, 즉 고객관계관리 시스템과 청구 시스템에 서로 다른 필드가 있을 수 있다. AI가 데이터 웨어하우스, 즉 여러 데이터 표가 모여 있는 저장소를 그냥 뒤지는 수준이라면, 관련 있어 보이지만 공식 답은 아닌 출처를 쉽게 고를 수 있다.

따라서 AI 셀프서비스 분석의 첫 질문은 “모델이 얼마나 강한가”가 아니다. “공식 답의 출처를 AI가 찾고 올바르게 쓸 수 있는 형태로 정리했는가”다.

가장 흔한 세 가지 오류

AI를 회사 숫자에 연결할 때 오류는 단순 계산 실수만이 아니다. 더 흔한 것은 아래 세 가지다.

오류 유형겉으로 보이는 모습실제로 보완할 것
잘못된 데이터 출처AI가 오래된 표, 테스트 표, 특정 팀이 사적으로 관리하는 표로 공식 질문에 답한다AI에게 “더 조심하라”고만 하지 말고 어떤 표가 공식 출처인지 표시한다.
잘못된 지표 정의체험 계정, 유료 계정, 해지 계정을 한꺼번에 “고객 수”로 계산한다한 번의 답을 고치는 데서 끝내지 말고 지표 정의를 재사용 가능한 규칙으로 만든다.
검토 흐름 부재AI는 빨리 답하지만 어디를 봤고, 무엇을 제외했고, 무엇이 불확실한지 말하지 않는다더 그럴듯한 문장이 아니라 출처, 조회 경로, 사람의 샘플 검토를 요구한다.

이 오류들의 공통점은, 몇 번 더 물어본다고 저절로 사라지지 않는다는 것이다. 먼저 회사 안의 “답 지도”를 정리해 AI가 비슷한 표들 사이에서 추측하지 않게 해야 한다.

광고

AI가 숫자를 답하기 전 네 가지 공개 조건

팀이 AI에게 매출, 사용량, 고객, 제품 숫자를 답하게 하고 싶다면 먼저 이 표로 점검한다.

공개 조건확인할 것답하지 못하면 아직 열지 말 것
유일한 공식 출처자주 나오는 질문마다 공식 데이터 표, 리포트, 또는 의미 계층이 지정되어 있는가. 의미 계층은 회사 지표 정의를 한곳에서 관리하는 층이라고 이해하면 된다.AI가 비슷한 세 표 중 하나를 스스로 고를 수 있다면 공식 숫자를 답하게 하지 않는다.
지표 정의“활성 사용자”, “이탈”, “전환”, “사용량” 같은 말에 명확한 계산식과 제외 조건이 있는가.같은 단어에 대해 책임자마다 다른 계산법을 쓴다면 AI는 그 차이를 더 키운다.
조회 절차AI가 먼저 어디를 볼지, 데이터가 없을 때 어떻게 말할지, 언제 사용자에게 질문을 보충하게 할지 알고 있는가.절차가 “질문에 답하라”뿐이면 AI는 가장 답처럼 보이는 데이터로 억지 답을 낼 가능성이 크다.
검토 책임누가 고위험 답변을 샘플로 확인하는가. 어떤 답변에 출처, 조회 조건, 불확실성을 붙여야 하는가.답이 어떻게 나왔는지 추적할 사람이 없다면 오류는 회의, 발표자료, 의사결정으로 들어간다.

이 표의 목적은 문서 일을 늘리는 것이 아니다. 팀이 “자료를 찾았다”를 “신뢰할 결론을 얻었다”로 착각하지 않게 하는 것이다. AI는 조회를 빠르게 만들 수 있지만, 어떤 숫자가 회사의 공식 버전인지는 대신 결정할 수 없다.

어떤 질문은 AI에게 바로 맡기면 안 되는가

모든 질문을 모든 동료가 AI에게 직접 묻게 할 필요는 없다. 아래 상황에서는 사람의 확인을 남겨 둔다.

  • 숫자가 예산, 성과평가, 감원, 가격, 고객 약속에 영향을 준다.
  • 지표가 막 바뀌어 옛 계산법과 새 계산법이 함께 남아 있다.
  • 개인정보, 민감 고객, 계약 조건, 권한 제한이 관련되어 있다.
  • 사용자가 “지난주 어땠어?”처럼 제품, 지역, 고객군, 기간을 명확히 말하지 않았다.
  • AI가 공식 출처를 찾지 못했는데도 비슷한 데이터로 답하려 한다.

이런 상황이 AI를 영원히 쓰지 말라는 뜻은 아니다. AI를 “초안과 질문 정리” 역할에 두어야 한다는 뜻이다. AI는 봐야 할 지표를 나열하고, 빠진 조건을 짚고, 조회 질문 초안을 만들 수 있다. 하지만 최종 숫자는 데이터 책임자, 지표 책임자, 업무 책임자가 확인해야 한다.

작은 팀도 바로 할 수 있는 방법

대형 데이터 플랫폼이 있어야만 위험을 낮출 수 있는 것은 아니다. 작은 팀은 먼저 세 가지를 하면 된다.

  1. 가장 자주 묻는 숫자 질문 열 개를 적는다. 예를 들어 이번 달 신규 고객, 해지 이유, 고객지원량, 전환율, 기능 사용량이다.
  2. 각 질문에 공식 출처를 지정한다. 표, 리포트, 시스템, 책임자를 분명히 적고 AI가 추측하게 하지 않는다.
  3. AI가 답할 때 “어디를 봤는지”를 붙이게 한다. 출처, 기간, 제외 조건을 설명하지 못하면 의사결정 자료가 아니라 초안으로만 다룬다.

이 세 가지를 한 뒤 자동 조회, 의미 계층, 전용 AI 분석 흐름을 고민하면 훨씬 안전하다.

이 미니 레슨의 결론

AI 셀프서비스 분석의 매력은 더 많은 사람이 데이터팀을 기다리지 않고 답을 얻는다는 데 있다. 하지만 위험도 바로 거기에 있다. 더 많은 사람이 그럴듯한 답을 더 빨리 받게 된다.

그러니 먼저 “AI가 모두의 숫자 확인을 도울 수 있을까?”라고 묻지 말자.

먼저 물어야 할 것은 “답의 출처, 지표 정의, 조회 절차, 검토 책임을 고정했는가”다.

이 네 가지가 아직 고정되지 않았다면 AI가 빠를수록 오류도 더 빨리 퍼질 수 있다. 공식 답의 출처를 먼저 고정한 뒤 셀프서비스 조회를 열어야 한다. 그래야 AI가 데이터팀의 부담을 줄이고, 나중에 해명해야 할 숫자를 더 만들지 않는다.

생활 4컷 만화

동료가 AI에게 회사 숫자를 묻고, AI가 비슷한 데이터 표들 앞에서 멈춘 뒤, 팀이 공식 출처와 지표 정의를 고정하고, 마지막에 사람이 출처가 붙은 답을 확인하는 4컷 만화

  1. 동료가 AI에게 바로 운영 숫자를 묻고 싶어 하지만 주변에는 비슷한 데이터 카드가 너무 많다.
  2. AI가 관련 있어 보이는 표를 여러 개 찾자, 팀은 답변을 내기 전에 먼저 멈춘다.
  3. 팀은 공식 출처, 지표 정의, 검토 지점을 하나의 흐름판에 고정한다.
  4. AI는 고정된 경로에 따라 답을 정리하고, 사람 검토자가 출처와 조건을 다시 확인한다.

AI 정리 카드

이 글의 상황에 맞춰 AI에게 정리하게 하기

자신의 AI 채팅 도구에 붙여 넣으면 이 미니 클래스를 개인용 체크리스트로 바꿀 수 있습니다. BMC는 사용자가 AI에 붙여 넣은 내용을 볼 수 없습니다.

광고

Share

이 미니 클래스 공유

이 글이 업무 병목을 푸는 데 도움이 되었다면, AI를 어떻게 쓸지 고민하는 사람에게도 공유해 주세요.

참고 자료