월요일 아침, 영업 관리자가 채팅창에서 AI에게 묻는다. “지난달 신규 고객이 몇 명이었지?” AI는 금세 숫자 하나와 그럴듯한 설명을 내놓았다. 그런데 회의에서 재무팀은 20% 적은 숫자를 보고했다. 따져 보니 AI는 영업 시스템의 “신규 생성 계정"을 셌고, 재무팀은 “첫 결제"를 셌다. 두 표 모두 이름이 “고객"이었고 어느 쪽도 틀리지 않았다. 다만 이 질문에 어느 표를 써야 하는지 정한 사람이 없었을 뿐이다.
동료들이 평소 말로 AI에게 회사 숫자를 물을 수 있게 하는 것은, 데이터를 연결한 뒤 많은 팀이 가장 기대하는 기능이다. 하지만 AI가 빠르고 매끄럽게 답한다고 그 숫자를 바로 회의에 가져가도 되는 것은 아니다. 답이 맞는지를 가르는 것은 모델 자체보다, 데이터 출처를 지정하고 지표 정의를 미리 써 두고 그것을 계속 관리하는 사람이 있느냐다.
같은 모델, 21%와 95%의 차이
Anthropic은 2026년 6월 자사 내부 사례를 공개했다. 회사의 내부 비즈니스 분석 질문을 Claude에게 맡기고 있는데, 지금은 분석 질의의 약 95%를 Claude가 자동으로 처리하고 전체 정답률은 약 95%라고 한다.
이 숫자에는 전제가 있다. 배경 자료를 정리하기 전에는 같은 Claude도 내부 평가에서 정답률이 21%를 넘지 못했다. 이를 95%까지 끌어올린 것은 skills라고 부르는 일련의 작업 안내서였다. 질문 종류마다 어떤 출처를 먼저 보고 어떤 분석 단계를 따를지 AI에게 알려 준다. 또 AI가 먼저 시맨틱 레이어를 확인하게 하고, 거기서 다루지 않는 질문일 때만 직접 질의를 쓰게 했다. 시맨틱 레이어는 지표 계산 방식을 한곳에서 관리해 어떤 도구에서도 같은 숫자가 나오게 하는 데이터 창구다. 이 사례를 보도한 InfoQ도 성과가 주로 데이터 거버넌스, 의미 정의, 운영 규율에서 나왔고 모델 발전은 부차적이었다는 Anthropic의 결론을 전했다.
정의는 사람이 쓰고, 게다가 낡는다
이 사례에는 95%라는 숫자보다 더 눈여겨볼 세부 사항이 두 가지 있다.
첫째, 지표 정의는 사람이 책임진다. Anthropic은 AI에게 지표 정의를 자동으로 만들게 해 보기도 했지만, 평가 결과는 오히려 나빠졌다. “활성 사용자”, “이탈”, “성사"를 어떻게 셀지는 회사가 정할 일이지 AI가 이끌어 낼 수 있는 것이 아니다.
둘째, 정의는 낡는다. 출시 때 약 95%였던 정답률은 한 달 동안 관리하지 않자 약 65%로 떨어졌다. 표가 바뀌고, 항목 이름이 바뀌고, 업무 규칙이 달라지면 맞았던 설명이 오해를 부른다. 그래서 그들은 이 설명들을 관리하는 일을 한 번 하고 끝나는 설정이 아니라 정식 엔지니어링 업무로 다룬다.
두 가지를 합치면 이렇다. AI에게 숫자를 묻게 하는 것은 누군가 책임져야 할 문서가 하나 늘어난다는 뜻이다. 책임지는 사람이 없으면 정확도는 아무도 모르는 사이에 떨어진다.
열기 전에, 질문 하나에 대해 세 가지를 정한다
처음부터 데이터 플랫폼을 만들 필요는 없다. 팀이 가장 자주 받는 숫자 질문 하나를 골라 다음 세 가지를 정하면 된다.
- 공식 출처. 이 질문에는 어떤 표, 어떤 보고서, 어떤 시스템을 쓰는가. 처음 예라면 “신규 고객"을 “청구 시스템에서 처음 결제한 고객"으로 분명히 적어 둔다.
- 계산 방식과 제외 조건. 기간을 어떻게 세는지, 테스트 계정을 빼는지, 환불을 차감하는지. 부서마다 계산 방식이 다르다면 그 지표를 책임지는 사람이 어느 것을 쓸지 정한다.
- 관리하는 사람. 표나 규칙이 바뀔 때 누가 정의를 고치고, 얼마나 자주 확인하는가.
그다음 AI가 답할 때마다 어떤 출처를 썼고 어떤 조건을 적용했고 무엇을 뺐는지 밝히게 한다. 그걸 밝히지 못하는 답은 초안일 뿐이다.
그럴듯해 보이는 오류는 여전히 다 잡지 못한다
출처와 정의를 정리해도 잡기 어려운 오류가 하나 남는다. 틀렸는데 전혀 이상해 보이지 않는 답이다. Anthropic도 이런 “조용한 오류"에는 아직 확실한 해법이 없다고 인정한다. 지금 쓰는 방법은 모든 답에 출처 설명을 붙이고, 경영진에게 가는 숫자는 반드시 사람이 승인하고, 맞다고 인정된 보고서 몇 개와 매일 대조하는 것이다. 답의 허점만 찾는 AI를 하나 더 두는 방법도 시험했는데, 평가에서 정답률은 약 6% 올랐지만 token 사용량은 32%, 응답 시간은 72% 늘었다. 그 대가를 치를지는 숫자가 틀렸을 때의 영향이 얼마나 큰지에 달렸다.
그래서 예산, 인사 평가, 가격, 고객과의 약속에 영향을 주는 숫자는 AI가 찾을 수 있더라도 사람의 확인을 남겨 둔다. AI는 자료를 찾고 질문을 정리하는 시간을 크게 줄여 주지만, 어떤 숫자를 의사결정에 써도 되는지는 결국 회사가 정할 일이다.
다음 단계로, 가장 자주 묻고 가장 자주 다투는 숫자 하나를 골라 공식 출처, 계산 방식, 관리할 사람을 적어 보자. 그게 끝나면 AI가 답하게 한다. AI 질의의 사용량과 비용이 걱정된다면 AI 청구서는 백만 토큰당 가격이 아니라, 채택된 결과물 한 건에 든 비용으로 잰다과 함께 계획하면 좋다. 데이터에 빈칸이 많다면 AI가 그것을 어떻게 해석하는지도 숫자에 영향을 준다. AI가 데이터의 빈칸을 0으로 세지 않게 하기를 참고하자.
AI 정리 카드
숫자 질문 하나를 셀프서비스로 열어도 되는지 AI와 함께 확인하기 이 프롬프트는 질문의 용도와 현재 상황을 묻고, 출처, 계산 방식, 관리할 사람 세 가지가 갖춰졌는지 점검한 뒤, AI가 바로 답해도 되는지 판단한다.
동료들이 회사 숫자 질문 하나를 AI에게 직접 물을 수 있게 하고 싶다. 그 전에 준비가 됐는지 확인하고 싶다.
판단 방법은 이 글에서 가져왔다: https://boosterminiclass.com/ko/posts/ai-analytics-source-of-truth-checklist/
글의 관점은 이렇다. AI가 숫자를 정확히 내는지는 공식 데이터 출처를 지정하고, 지표 계산 방식을 써 두고, 그것을 계속 관리하는 사람이 있느냐에 달렸다. Anthropic의 사례에서 같은 모델의 정답률은 정리 전후로 21% 이하에서 95% 이상으로 올랐고, 한 달 관리하지 않자 약 65%로 떨어졌다.
먼저 나에게 질문 3개를 해 달라:
1. 어떤 숫자 질문이고, 답은 어떤 의사결정에 쓰이는가;
2. 지금 회사 안에서 이 숫자를 찾을 수 있는 곳은 몇 군데이고, 계산 방식은 같은가;
3. 이 지표의 정의를 책임지는 사람이 있는가. 표나 규칙이 바뀌면 누가 알아채는가.
내 답을 바탕으로 다음을 출력해 달라:
- 출처, 계산 방식과 제외 조건, 관리하는 사람 세 가지의 현재 상태: 확정 / 확인 필요;
- 한 줄 판단: 셀프서비스로 열어도 됨 / 시험만 하고 답은 사람이 확인 / 당분간 사람이 답함;
- AI가 이 질문에 답할 때 매번 밝혀야 할 설명(출처, 조건, 제외 항목);
- 오늘 할 수 있는 보강 하나.
정보가 부족하면 먼저 나에게 물어볼 것. 계산 방식을 추측하거나 숫자를 직접 계산하지 말 것.
이 카드는 빠진 것을 찾도록 도울 뿐이다. 공식 숫자는 그 지표를 책임지는 사람이 확인한다.
참고 자료
- Anthropic (Claude Blog): How Anthropic enables self-service data analytics with Claude — https://claude.com/blog/how-anthropic-enables-self-service-data-analytics-with-claude (2026-06-03)
- InfoQ: Anthropic Reports Claude Now Handles 95% of Internal Analytics Queries — https://www.infoq.com/news/2026/06/anthropic-claude-analytics/ (2026-06-21)
- dbt Labs Blog: Semantic Layer: What it is and when to adopt it — https://www.getdbt.com/blog/semantic-layer-introduction (2024-07-16)
