多くのチームが AI を会社のデータにつなげるとき、最初に期待するのは「みんなが AI に聞けば、データチームのレポート待ちをしなくて済む」ということだ。

その期待は自然だ。営業は今月の成約率を知りたい。サポートは増えている問い合わせ種類を見たい。プロダクト担当者は新機能の継続率を確認したい。毎回データ担当者にクエリを書いてもらうなら、どうしても遅くなる。

ただ、Anthropic が最近共有した社内事例は重要な注意点を示している。AI が会社の数字を答えられるかどうかは、モデルがクエリを書けるかだけの問題ではない。本当のリスクは、どのテーブルが正式な出どころで、どの指標定義が会社として採用されているかを知らないまま、流暢に間違った数字を答えてしまうことだ。

Anthropic によると、Claude は社内のビジネス分析問い合わせの約 95% を自動処理し、全体の正確率も約 95% に達している。さらに重要なのは、分析手順と背景知識を用意しない場合、同じ Claude の社内評価での正確率は 21% 以下だったことだ。指標定義、データソース、分析手順を、AI が数字を調べる前に読む操作説明ファイル(Anthropic は skills と呼ぶ)として整理してから、正確率が 95% 以上で安定した。

この記事は Anthropic のデータ基盤をそのまま真似するためのものではない。より一般的な問いに置き換えるためのものだ。AI に会社の数字を聞く前に、「どこを見て、どう調べ、誰が確認するか」を先に固定する。

セルフサービス分析は「誰でも何でも聞ける」ではない

セルフサービス分析とは、データチーム以外の人も自分で運用数値を確認できることだ。営業、サポート、マーケティング、プロダクトの担当者が、毎回チケットを切らなくて済む。

以前はダッシュボードやレポートツールが中心だった。AI が入ると、「先週の新規顧客はどのチャネルから来たか」や「どの問い合わせが増えたか」を自然言語で聞ける。たしかに便利に見える。

問題は、会社のデータがきれいな辞書ではないことだ。チームごとに「アクティブユーザー」の計算方法が違うかもしれない。古いテーブルと新しいテーブルが同時に残っているかもしれない。同じ顧客でも、CRM、つまり顧客関係管理システムと請求システムで項目が違うこともある。AI がデータウェアハウス、つまり多くのデータ表をまとめて保存している場所をただ検索するだけなら、関連して見えるが正式な答えではないソースを拾いやすい。

だから AI セルフサービス分析の最初の問いは「モデルはどれほど強いか」ではない。「正式な答えの出どころを、AI が見つけて正しく使える形にしているか」だ。

よくある三つの失敗

AI を会社の数字につなげたとき、失敗は単純な計算ミスだけではない。よくあるのは次の三つだ。

失敗の種類どう見えるか本当に補うべきこと
ソースを間違えるAI が古い表、テスト表、または一部チームだけの私的な表で正式な質問に答えるAI に「もっと注意して」と言うだけではなく、どの表が正式かを明示する。
指標定義を間違える試用アカウント、有料アカウント、解約済みアカウントをまとめて「顧客数」として数える一回の答えを直すだけではなく、指標定義を再利用できるルールにする。
確認の流れがないAI は速く答えるが、どこを見て、何を除外し、何が不確かかを示さないきれいな文章より、出どころ、検索経路、人間による抽查を求める。

これらに共通するのは、何度か聞き直しても自然には消えないことだ。まず社内の「答えの地図」を整理し、AI が似た表の中から当てずっぽうで選ばなくてよい状態にする必要がある。

広告

AI に数字を答えさせる前の四つの放行条件

チームが AI に売上、利用量、顧客、プロダクトの数字を答えさせたいなら、まずこの表で確認する。

放行条件確認すること答えられないなら、まだ開放しない
唯一の正式ソースよくある質問ごとに、正式なデータ表、レポート、またはセマンティックレイヤーが決まっているか。セマンティックレイヤーは、会社の指標定義を集中管理する層と考えればよい。AI が似た三つの表から自分で一つを選ぶ可能性があるなら、正式な数字を答えさせない。
指標定義「アクティブユーザー」「解約」「成約」「利用量」などに、明確な計算方法と除外条件があるか。同じ言葉に対して管理者ごとに式が違うなら、AI はその分裂を拡大する。
検索手順AI は最初にどこを見るか、データが不足したときどう言うか、どんな場合に追加質問するかを知っているか。手順が「質問に答えて」だけなら、もっとも答えらしく見えるデータで無理に答える。
確認責任誰が高リスク回答を抽查するか。どの回答に出どころ、検索条件、不確実性を添えるか。答えの由来を追跡できる人がいないなら、誤りは会議、資料、意思決定に入っていく。

この表の目的は書類仕事を増やすことではない。「データを調べる」ことを「信頼できる結論を得る」ことと取り違えないためだ。AI は検索を速くできるが、どの数字が会社の正式版かを代わりに決めることはできない。

どの質問は AI に直接渡すべきではないか

すべての質問を、誰でも AI に直接聞けるようにする必要はない。次のような場合は、人間の確認を残す。

  • 予算、評価、人員削減、価格、顧客への約束に影響する数字。
  • 指標が最近変更され、旧定義と新定義がまだ併存している。
  • 個人情報、重要顧客、契約条件、権限制限が関わる。
  • 「先週どうだった?」のように、プロダクト、地域、顧客層、期間があいまいな質問。
  • AI が正式ソースを見つけられないのに、近いデータで答えようとする場合。

こうした場合でも、AI が使えないわけではない。役割を「草案と問いの整理」に置くべきだ。見るべき指標を列挙し、不足条件を指摘し、クエリ質問の草案を作ることはできる。ただし最後の数字は、データ責任者、指標責任者、または業務責任者が確認する。

小さなチームでもできる始め方

大きなデータ基盤を作る前でも、リスクは下げられる。小さなチームならまず三つでよい。

  1. よく聞かれる数字の質問を十個並べる。 例:今月の新規顧客、解約理由、サポート件数、転換率、機能利用量。
  2. 各質問に正式ソースを割り当てる。 表、レポート、システム、責任者を書き、AI に推測させない。
  3. AI に「どこを見たか」を必ず答えさせる。 ソース、期間、除外条件を説明できないなら、意思決定ではなく草案として扱う。

この三つができてから、自動クエリ、セマンティックレイヤー、専用の AI 分析フローを考えた方が安全だ。

このミニレッスンの結論

AI セルフサービス分析の魅力は、より多くの人がデータチームを待たずに答えを得られることだ。しかし危険も同じ場所にある。より多くの人が、信頼できそうに見える答えをより速く手にしてしまう。

だから最初に「AI はみんなの数字確認を助けられるか」と聞かない。

まず聞くべきなのは、「答えの出どころ、指標定義、検索手順、確認責任は固定されているか」だ。

この四つが固定されていないなら、AI が速いほど誤りも速く広がる。正式な答えの出どころを固定してからセルフサービス検索を開放する。それが、AI にデータチームの負担を下げさせる方法であり、後から説明し直す数字を増やさない方法でもある。

生活四コマ

同僚がAIに会社の数字を聞き、AIが似たデータ表の前で止まり、チームが正式ソースと指標定義を固定し、最後に人間が出どころ付きの答えを確認する4コマ漫画

  1. 同僚が AI に直接運用数字を聞こうとするが、周囲には似たデータカードが多すぎる。
  2. AI は関連して見える表をいくつも見つけ、チームは答えを出す前に一度止める。
  3. チームは正式ソース、指標定義、確認ポイントを一枚のフローボードに固定する。
  4. AI は固定された経路に沿って答えを整理し、人間の確認者がソースと条件を確認する。

AI 整理カード

この記事の状況に合わせて、AI に整理してもらう

自分の AI チャットツールに貼り付けると、このミニクラスを自分用のチェックリストにできます。BMC は、あなたが AI に貼り付けた内容を見ることはありません。

広告

Share

このミニクラスを共有

このミニクラスが仕事の詰まりをほどく助けになったら、AI の使い方を考えている人にも共有してください。

参考資料