月曜の朝、営業マネージャーがチャット画面で AI に尋ねる。「先月の新規顧客は何社？」。AI はすぐに数字と、もっともらしい説明を返した。ところが会議では、経理が 2 割少ない数字を報告した。調べてみると、AI が数えたのは営業システム上の「新規作成アカウント」で、経理が数えていたのは「初回入金」だった。どちらの表も「顧客」という名前で、どちらも間違っていない。ただ、この質問にどちらを使うかを決めた人がいなかった。

同僚がふだんの言葉で AI に社内の数字を尋ねられるようにすることは、データをつないだ後に多くのチームがいちばん期待する機能だ。だが、AI の答えが速く滑らかでも、その数字をそのまま会議に持ち込めるとは限らない。答えが正しいかどうかを決めるのはモデルそのものより、データソースを指定し、指標の定義を前もって書き、それを保守し続ける人がいるかどうかである。

同じモデルで 21% と 95% の差

Anthropic は 2026 年 6 月、自社の社内事例を公開した。社内のビジネス分析の質問を Claude に任せており、現在は分析クエリの約 95% を Claude が自動でこなし、全体の正答率は約 95% だという。

この数字には前提がある。背景情報を整理する前は、同じ Claude でも社内評価での正答率は 21% を超えなかった。それを 95% に押し上げたのは、skills と呼ばれる一連の手順書だ。質問の種類ごとに、まずどのソースを見て、どの分析手順に従うかを AI に教える。さらに AI には、まずセマンティックレイヤーを確認させ、そこでカバーできない質問のときだけ自分でクエリを書かせている。セマンティックレイヤーとは、指標の計算方法を一か所で管理し、どのツールでも同じ数字が出るようにするデータの窓口だ。この事例を報じた InfoQ も、成果は主にデータガバナンス、意味の定義、運用の規律によるもので、モデルの進歩は二次的だという Anthropic の結論を伝えている。

定義は人が書き、しかも古くなる

この事例には、95% という数字以上に注目すべき細部が二つある。

一つ目に、指標の定義は人が責任を持つ。 Anthropic は AI に指標の定義を自動生成させることも試したが、評価ではかえって悪化した。「アクティブユーザー」「解約」「成約」をどう数えるかは会社が決めることで、AI が導き出せるものではない。

二つ目に、定義は古くなる。 導入時に約 95% だった正答率は、1 か月保守しなかったあと約 65% まで落ちた。表が変わり、項目名が変わり、業務のルールが変われば、正しかった説明が誤解のもとになる。だから彼らは、こうした説明の保守を一度きりの設定ではなく、正式なエンジニアリングの仕事として扱っている。

二つを合わせるとこうなる。AI に数字を調べさせることは、誰かが責任を持つべき文書が一つ増えるということだ。責任者がいなければ、正確さは誰も気づかないうちに下がっていく。

広告

開放する前に、一つの質問について三つのことを決める

最初からデータ基盤を作る必要はない。チームが最もよく聞かれる数字の質問を一つ選び、次の三つを決めればいい。

  • 正式なソース。 その質問にはどの表、どのレポート、どのシステムを使うのか。冒頭の例なら、「新規顧客」は「請求システム上で初めて支払いをした顧客」と明記する。
  • 計算方法と除外条件。 期間をどう数えるか、テスト用アカウントを除くか、返金を差し引くか。部署によって計算方法が違うなら、その指標の責任者がどれを使うか決める。
  • 保守する人。 表やルールが変わったとき誰が定義を更新するのか、どのくらいの頻度で確認するのか。

それが済んだら、AI には毎回の回答で、どのソースを使い、どんな条件を当て、何を除外したかを示させる。それを示せない答えは下書きでしかない。

もっともらしい誤りは、まだ拾いきれない

ソースと定義を整えても、見つけにくい誤りが一つ残る。間違っているのに、まったくもっともらしく見える答えだ。Anthropic 自身も、こうした「静かな誤り」にはまだ十分な解決策がないと認めている。いまのやり方は、すべての答えに出典の注記を付け、経営層に出す数字は必ず人が承認し、正しいと認められた数本のレポートと毎日突き合わせることだ。答えの粗探し専門の AI をもう一つ置くことも試したところ、評価での正答率は約 6% 上がったが、token の使用量は 32%、応答時間は 72% 増えた。その代償を払うかどうかは、数字を間違えたときの影響の大きさで決まる。

だから予算、人事評価、価格、顧客への約束に関わる数字は、AI が調べられるとしても、人による確認を残しておく。AI は資料を探して問いを整理する時間を大きく縮められるが、どの数字を意思決定に使ってよいかは、やはり会社が決めることだ。

次の一歩として、いちばんよく聞かれ、いちばんよくもめる数字を一つ選び、その正式なソース、計算方法、保守する人を書き出してほしい。それが済んでから AI に答えさせる。AI による照会の使用量と費用が心配なら、AI の請求は、百万トークンあたりの値段ではなく、採用された成果一件あたりの費用で測るとあわせて計画するとよい。データに空欄が多いなら、AI がそれをどう解釈するかも数字に響く。AI にデータの空欄を 0 として数えさせないも参考になる。

AI 整理カード

ある数字の質問をセルフサービスで開放できるか、AI と確かめる このプロンプトは、質問の用途と現状を確認し、ソース、計算方法、保守する人の三つがそろっているかを点検したうえで、AI に直接答えさせてよいかを判断する。

同僚が社内の数字の質問を一つ、AI に直接聞けるようにしたい。ただ、その前に準備ができているか確かめたい。
判断方法はこの記事による：https://boosterminiclass.com/ja/posts/ai-analytics-source-of-truth-checklist/
記事の見方はこうだ。AI が数字を正しく出せるかは、正式なデータソースを指定し、指標の計算方法を書き、それを保守し続ける人がいるかで決まる。Anthropic の事例では、同じモデルの正答率が整理の前後で 21% 以下から 95% 超に上がり、1 か月保守しないと約 65% まで落ちた。

まず私に 3 つ質問してほしい：
1. それはどの数字の質問で、答えはどんな意思決定に使われるか；
2. いま社内でその数字を調べられる場所はいくつあり、計算方法はそろっているか；
3. その指標の定義に責任を持つ人はいるか。表やルールが変わったとき、誰が気づくか。

私の回答をもとに、次を出力してほしい：
- ソース、計算方法と除外条件、保守する人の三つの現状：確定／要確認；
- 一行の判断：セルフサービスで開放してよい／試験のみで答えは人が確認する／当面は人が答える；
- この質問に答えるとき、AI が毎回示すべき説明（ソース、条件、除外項目）；
- 今日できる補強を一つ。
情報が足りなければ、まず私に質問してほしい。計算方法を推測したり、数字を計算したりしないこと。

このカードは足りないものを見つける手助けにすぎない。正式な数字は、その指標に責任を持つ人が確認する。

広告

Share

このミニクラスを共有

このミニクラスが仕事の詰まりをほどく助けになったら、AI の使い方を考えている人にも共有してください。

参考資料