多くの会社が、カスタマーサポート、アカウント復旧、社内ITサポート、定常業務をAIに任せたいと考えている。ここでいうAI agentとは、自分で複数の手順を続けて実行するAIのことだ。質問に答えるだけでなく、データを調べ、ツールを呼び出し、設定を変え、リンクを送り、ユーザーの代わりに一連の流れを完了することさえある。

問題は、AIが必ず「めちゃくちゃに動く」ことではない。よりよくあるリスクは、手順に従ってとても素直に、やってはいけないことを実行してしまうことだ。

Stack Overflow Blogは6月15日の記事で、アカウントサポートの場面を使ってこのリスクを説明している。攻撃者は必ずしもパスワードを破る必要はない。権限を持つサポート手順を説得して、情報を変更させたり、新しいメールアドレスを追加させたり、リセットリンクを送らせたりできれば、本来は別人のものだったアカウントを持ち去れる可能性がある。記事はこれを、情報セキュリティにおける「confused deputy」問題につなげている。権限を持つ代理人が、権限の低い人に説得され、その人のためにやってはいけないことをしてしまう問題だ。

一般的なチームにとって、この注意喚起は単一の事件より重要だ。多くの業務フローは、これまで実は途中にいる人間の判断に頼っていた。カスタマーサポートは依頼がおかしいと感じたら一度止まる。IT担当者は要求が不自然ならもう一言聞く。上司は例外状況を見て拒否する。AI agentを同じ場所に置いたとき、こうした判断が明確なルールとして書かれていなければ、AIには「次の手順は実行できる」ことだけが見え、「この手順は本当はこの人のためにやってはいけない」ことが見えないかもしれない。

AI agentがカスタマーサポートの窓口で依頼を受け取り、人間のレビュアーが身元、権限、理由、結果を確認してから高リスク変更を通している。

まず、どの関門が人間の内心の判断に頼っていたかを見つける

AI agentを導入する前に、最初に「どれくらい自動化できるか」と聞いてはいけない。先に聞くべきなのは、このフローの中で、以前はどこを人間が違和感で止め、保留し、拒否し、エスカレーションしていたかだ。

よくある例は次のとおりだ。

  • カスタマーサポートが、ユーザーのアカウントメールアドレス、電話番号、配送先住所、支払い情報を変更する。
  • ITサポートが、同僚のパスワードをリセットし、権限を付与し、グループに追加し、アクセス資格情報を発行する。
  • 営業または運用システムが、顧客のプラン、返金、割引、データエクスポートを変更する。
  • 社内フローが、誰かのために承認、例外申請、データ削除依頼を送信する。

これらはどれも「手順どおりに処理する」だけに見える。しかしフローの中には、書き出されていない部分がよくある。この人は本人なのか。なぜ今その変更が必要なのか。この変更で第三者がアカウントを手に入れないか。過去に異常な記録はないか。依頼が見知らぬデバイス、見知らぬ地域、新しい連絡先から来ている場合、そのまま実行してよいのか。

人間のサポート担当者は、こうしたシグナルを頭の中でまとめて判断するかもしれない。AI agentが「このメールアドレスに変更してください」という一文だけを受け取り、ちょうどツール権限も持っていれば、自然言語の依頼をツール操作に変換してしまう可能性がある。本当に危険なのは、AIが会話できるかどうかではない。ツールを呼び出す前に、身元と認可を再確認する仕組みがないことだ。

四つの表で確認する：身元、権限、理由、結果

AI agentを、データ変更、アカウント変更、リセットリンク送信、支払いトリガーのどれかに関わるフローへ接続する前に、まず下の表で確認するとよい。

チェックポイント問うべきこと答えが明確でない場合
身元依頼者は誰か。システムは、その人が本人または代理資格を持つ人だとどう確認するのかAIに直接実行させず、先に人による確認へ回す
権限この人はこの種類の変更を依頼できるのか。権限はシステムから渡されており、本人の自己申告だけではないかテキスト説明だけに基づく依頼は受け付けない
理由この変更は通常の状況に合っているか。異常な時間、場所、デバイス、履歴はないか追加証拠を求めるか、責任者へエスカレーションする
結果間違えた場合に何が起きるか。アカウント乗っ取り、データ流出、金銭損失か、それとも返答文の誤りだけか低リスク手順だけを自動化する

この表の要点は、「AIがツールを呼び出せること」と「AIがこの人のためにこの作業をしてよいこと」を分けることだ。ツール権限はシステム能力であり、認可判断はフローの責任だ。両者が混ざると、AI agentはとても丁寧で効率的だが、間違った相手にドアを開けてしまうかもしれない窓口になる。

どんな依頼は必ず止めるべきか

すべてのカスタマーサポートや社内フローを自動化してはいけない、という話ではない。注文状況の照会、FAQの整理、不足書類のリマインド、データの整形は、通常リスクが比較的低い。本当に注意すべきなのは、「実行後に戻しにくい、または権限を外へ渡してしまう」依頼だ。

次の種類の依頼は、AI agentに最初から最後まで直接実行させるのに向いていない。

  • ログイン用メールアドレス、電話番号、予備メールアドレス、多要素認証方式の変更。
  • パスワードリセット、支払い、返金、データ削除、データエクスポートのリンク生成。
  • 管理者の追加、権限昇格、機密グループへの追加、API keyの発行。
  • 顧客プラン、契約条件、請求先住所、支払い方法の変更。
  • 理由は一文だけなのに、アカウントの支配権、会社データ、金銭に影響する依頼。

API keyは、プログラムがサービスへアクセスするための鍵だ。渡すべきでない相手に発行すると、その相手がデータを読み、操作を実行し、コストを発生させる可能性がある。多要素認証は、ログイン時にパスワード以外でもう一度確認する仕組みで、認証アプリやSMSなどがある。これらが変更されると、アカウントの本当の持ち主がかえって入れなくなることがある。

だからAI agentができることは、「完全に手伝いを拒否する」ことではない。先に情報を集め、先にルールと照合し、先に異常を印づけ、そのうえで高リスク依頼を担当者の確認へ渡すフローに変えることだ。

最小限で使えるやり方：AIに受付させても、通過判断はさせない

チームがカスタマーサポートや運用フローにAI agentを入れ始めたばかりなら、まずは保守的な設計を取るとよい。AIには受付、分類、追加情報の収集、返信案の作成を任せる。しかし高リスク変更を直接完了させてはいけない。

最小限で使えるフローは、たとえば次のように設計できる。

  1. AIがまず依頼の種類を判定する。照会、一般変更、機密変更、アカウント復旧、支払い、権限のどれかだ。
  2. システムが依頼者の身元、ログイン状態、既存権限、異常シグナルを自動で渡し、AIがユーザーの口頭説明だけに頼らないようにする。
  3. 低リスク依頼は自動返信または処理待ちに入れてよい。
  4. 中リスク依頼は、要約、証拠、推奨される次の手順を残し、人が確認ボタンを押す。
  5. 高リスク依頼は直接一時停止し、人手のフローへ回す。AIにリセットリンク送信や権限変更をさせない。

これはAI自動化への反対ではない。「受付の効率」を「通過させる資格」と取り違えないための設計だ。AIは情報を整理し、漏れを見つけ、次の手順を促すのに向いている。しかし次の一手がアカウントの支配権、機密データ、支払い、権限に触れるなら、明確な人間の関門が必要だ。

生活四コマ

四コマ漫画：AI agentがまず受付を行い、疑わしいアカウント変更を切り分け、人が身元、権限、理由、結果を確認してから通す。

  1. 多くの依頼が同時に入ってくるとき、AIはまず受付と分類を手伝える。人が一通ずつ整理する必要はない。
  2. アカウントの支配権、支払い、データ、権限に関わるなら、「本人らしく話している」ことを認可済みと見なしてはいけない。
  3. AIは証拠と不足情報を整理できるが、身元、権限、理由、結果には明確なルールが必要で、人が確認できるようにもする必要がある。
  4. 低リスク依頼は素早く通せる。高リスク依頼は入口で一度止め、責任者に判断させる。

導入前にまず三つの質問をする

カスタマーサポートAI、ITサポートagent、社内フローagent、または人の代わりにデータを変更する自動化ツールを評価しているなら、先に三つの質問をする。

  1. このagentは各ツール操作の前に、依頼者の身元と権限を持っているか。一文のテキストだけを持っている状態ではないか。
  2. システムは、どの依頼を拒否、一時停止、人へ回すべきかを明確に書いているか。AI自身の判断に任せていないか。
  3. AIが間違えた場合、どの依頼、どのツール、どのルール、どの人が最後に通したのかを追跡できるか。

三問のうち一つでも答えられないなら、高リスク操作をAIに渡すのはまだ早い。低リスクの整理や下書きから始め、身元、認可、拒否、追跡のルールがすべて明確になってから、少しずつ範囲を広げればよい。

AI agentの価値は、フローを速くし、情報の取りこぼしを減らすことにある。アカウント、データ、金銭を守るために元々あった判断を置き換えるべきではない。かつて「人が違和感を覚えていた」瞬間をルールとして書き出すことこそ、カスタマーサポートや運用agentを導入する前の最重要ステップだ。

AI 整理カード

この記事の状況に合わせて、AI に整理してもらう

自分の AI チャットツールに貼り付けると、このミニクラスを自分用のチェックリストにできます。BMC は、あなたが AI に貼り付けた内容を見ることはありません。

Share

このミニクラスを共有

このミニクラスが仕事の詰まりをほどく助けになったら、AI の使い方を考えている人にも共有してください。

参考資料