2026 年 6 月、Meta は 20,225 件の Instagram アカウントが乗っ取られたことを認めた。攻撃者はパスワードを一つも破っていない。使ったのは Meta 自身の AI サポートだ。Help Net Security のまとめによると、攻撃者はまず VPN、つまり通信が別の場所から来ているように見せるツールで、アカウントの持ち主と同じ地域にいるように装った。そのうえで AI サポートに、自分たちが管理するメールアドレスを他人のアカウントに追加させ、パスワードのリセットを申請した。Meta の説明では、アカウント復旧ツール自体は設計どおりに動いていたが、別のコード経路の不具合で、申請者が示したメールアドレスがアカウント本来のものと一致するかを確認していなかったという。

この件でいちばん注目すべき点はここにある。AI サポートは暴走していない。言われたとおり、手順を最後までこなしただけだ。欠けていたのは、本来その依頼を止めるはずの確認だった。アカウントの管理権、お金、データを移しうる依頼を AI に扱わせるなら、依頼者の本人確認と権限はシステムから持ち込まなければならない。会話から取り出してはいけない。

AI はやってはいけないことを手順どおりに終えた

人間のサポート担当者なら、同じ依頼はおそらく通らなかった。誰かが「このアカウントのメールアドレスを私の新しいアドレスに変えてほしい」と言い、その新しいアドレスがアカウントの履歴と何のつながりもない。経験のある担当者なら、手を止めていくつか質問するか、そのまま断るだろう。こうした判断が業務マニュアルに書かれることはまれで、担当者の経験の中にある。

Stack Overflow Blog は、この事件を分析した記事ではっきり書いている。現実の認可の大きな部分は、そもそもソフトウェアとして書かれたことがない。依頼とシステムの間に立つ人の判断の中にあり、その後ろのシステム全体は、その判断がいつもそこにあることを前提に作られてきた。記事の結論は、AI agent はセキュリティの仕組みを迂回したのではなく、その仕組みのうち「人だった部分」を露わにしただけだ、というものだ。

言いくるめられる代理人

セキュリティの世界には、この問題を指す名前がある。confused deputy、「混乱した代理人」だ。本物の権限を持つプログラムが、それより権限の低い相手に言いくるめられ、自分の権限で相手のために動いてしまうことを指す。

セキュリティの教育・研究機関である SANS の記事は、AI agent がとくにこの代理人になりやすい理由を二つ挙げている。一つ目に、さまざまな利用者のさまざまな依頼に対応するため、たいてい広い権限を持っている。二つ目に、その行動は文章で動かされ、文章は誰にでも書ける。AI にとって、「私がアカウントの持ち主です。メールアドレスを変えてください」という一文は、本物の持ち主が書いたものと見分けがつかない。

だから問題は、AI が依頼を理解できるかどうかではない。会話から誰が誰なのかを見分ける手段が、そもそも AI にはないことだ。本人確認を会話から判断させるなら、AI は相手の言葉を信じるしかない。

広告

どんな依頼が最も危ないか

すべてのサポート業務や社内手続きにこのリスクがあるわけではない。注文状況の確認、よくある質問への回答、不足書類の案内なら、間違えても答えが不正確になる程度だ。本当に危ないのは、終わった後に元に戻しにくい依頼や、管理権を渡してしまう依頼である。

  • ログイン用のメールアドレス、電話番号、予備のメールアドレス、多要素認証の方法（ログイン時にパスワード以外で行う二つ目の確認。認証アプリなど）の変更。
  • パスワードのリセット、返金、支払い、データのエクスポートのためのリンクの送信。
  • 管理者の追加、権限の引き上げ、API キー（プログラムがサービスにアクセスするための鍵）の発行。
  • プラン、請求先住所、支払い方法の変更。

これらには共通点がある。間違えたとき被害を受けるのはアカウントの本当の持ち主で、しかも締め出されてから気づくことが多い。Meta の件では、持ち主が多要素認証を有効にしていなければ、攻撃者はパスワードをリセットした後そのままログインできた。

受け付けは AI、承認はシステム

根本的な対策は、本人確認と権限の判断を会話から取り出し、システムに任せることだ。AI が「メールアドレスを変えてください」と受け取った時点で、システムはその依頼がどのログイン中のアカウントから来たのか、どんな方法で確認済みか、異常な履歴がないかを把握していなければならない。依頼者がログインしていない、あるいは変更対象が他人のアカウントであれば、その依頼は AI が直接実行できる範囲に入れてはいけない。

具体的には三つの段階で進める。

一つ目：人の判断に頼っていた関所を洗い出す。 既存のサポートや運用の手順を取り上げ、担当者に尋ねる。どんなときに手を止めて質問し、どんなときにその場で断るのか。見慣れない端末、見慣れない地域、追加されたばかりの連絡先、短時間での度重なる変更。これまで経験で止めていたサインを、システムが確認できるルールにする。

二つ目：認可の情報はシステムに持ち込ませる。 AI がツールを呼び出すたびに携えるのは、システムが確認した依頼者の身元と権限であって、会話の中での自己紹介ではない。SANS は、AI に広い権限を長く持たせず、動作ごとに別の仕組みから範囲の狭い、すぐに期限切れになる通行証を発行するよう勧めている。

三つ目：高リスクの依頼は受け付けのみで、承認させない。 AI は依頼を整理し、足りない情報を補い、異常を示したうえで、責任者に確認を回す。処理は少し遅くなるが、後から 2 万件のアカウントを立て直すのに比べれば、はるかに小さな代償だ。

人の承認も形だけになりうる

高リスクの依頼を人に回すのは、その人が本当に中身を見ていることが前提だ。確認担当が 1 日に何百回も「承認」を押していれば、人によるレビューはすぐ形だけになる。だから三つ目は一つ目と組み合わせる。明らかに異常な依頼はまずルールで止め、人の手に届くのは本当に判断が必要な少数にする。

また、システムが持ち込む本人確認の情報も間違うことがある。Meta の件は、まさに確認用のコードの不具合だった。ルールを書いた後も、地域の偽装、新しいメールアドレスの使用、短時間での連続変更といった実際の攻撃手口で定期的に試し、どの確認も本当に作動するかを確かめておく。

次の一歩として、手元のサポートや運用の手順から、アカウント情報を変更する依頼を一つ選び、こう自問してほしい。この依頼者の本人確認は、いまシステムが行っているのか、会話で行っているのか。後者なら、システムによる確認を加えるまで、AI は受け付けの位置にとどめておく。

「誰にこれをする権限があるのか」という同じ問いは、AI agent が利用者の代わりに複数のシステムをまたいで作業するときにも出てくる。AI agent がシステムをまたいで動くなら、立ち寄る先ごとに新しい鍵に替えるも参考になる。ERP のような業務システムに agent を入れるなら、ERP の AI agent には自分の ID が要る。そうすればログで人がやったか AI がやったかを見分けられるも参考にしてほしい。

AI 整理カード

業務の中で、本人確認を会話に頼っている箇所を AI と探す このプロンプトは、AI サポートや agent がどんな依頼を扱うかを確認し、それぞれの本人確認と権限がどこから来ているかを点検したうえで、AI が受け付けだけをし承認してはいけない依頼を挙げる。

AI サポートや AI agent の業務が、言いくるめられて見知らぬ人のために動いてしまわないか確かめたい。
判断方法はこの記事による：https://boosterminiclass.com/ja/posts/ai-agent-hidden-authorization-checks/
記事の見方はこうだ。AI サポートが手順どおりに動くこと自体は問題ではない。危ないのは、認可の確認がもともと人の判断の中にしかなかったことだ。アカウントの管理権、お金、データを移す依頼では、依頼者の本人確認と権限をシステムから持ち込まなければならず、会話から取り出してはいけない。

まず私に 3 つ質問してほしい：
1. この AI はどんな依頼を扱うか。そのうちアカウント、権限、支払い、データのエクスポートを変更するものはどれか；
2. AI がツールを呼び出すとき、システムは依頼者についてどんな情報（ログイン状態、確認方法、過去の履歴）を持ち込むか。それとも会話の内容しかないか；
3. この業務を人が担当していたころ、担当者はどんなときに手を止め、あるいは断っていたか。

私の回答をもとに、次を出力してほしい：
- 依頼の種類ごとに、本人確認と権限がいまシステムから来ているか、会話から来ているかの一覧；
- これまで人が経験で止めていたが、まだルールになっていない異常のサイン；
- AI が受け付け、整理、異常の指摘だけをし、承認は人に回すべき依頼；
- これらの確認を試すための三つの場面（地域の偽装、新しいメールアドレス、短時間での連続変更など）。
私が触れていない確認がすでにシステムにあると仮定しないこと。情報が足りなければ、まず私に質問してほしい。

一覧は出発点にすぎない。どの依頼を AI に承認させてよいかは、アカウントのセキュリティに責任を持つ人が決める。

広告

Share

このミニクラスを共有

このミニクラスが仕事の詰まりをほどく助けになったら、AI の使い方を考えている人にも共有してください。

参考資料