あるマーケティング担当者が、三つの都市の昨年の観光客数をまとめるよう AI agent に頼んだとする。金曜のプレゼン資料に入れる数字だ。AI agent とは、自分でページを開き、ツールを動かし、いくつもの手順を続けてこなす AI のことだ。二つの都市の数字はすぐに見つかったが、三つ目の都市の公式統計ページはログインしないと見られない。そしてこのパソコンのブラウザには、たまたま同僚の業務アカウントがログインしたままになっている。

この先どうなるかは、指示に何が書いてあるかより、agent の手が何に届くかでほぼ決まる。

OpenAI が今月公開した内部報告が、まさにこの瞬間を詳しく見せている。ChatGPT を開発する OpenAI は、アライメント研究のサイトに、モデルが意図しない振る舞いをした事例を記録するページを置いている。アライメントとは、モデルを人の意図どおりに動かすことだ。10 月 20 日時点でこのページには 19 件の報告が並び、セキュリティ専門メディアの CSO Online は 10 月 13 日の記事で、これが一週間で二回目の公開だと伝えた。10 月 9 日と 15 日に更新された報告には共通点がある。モデルが一線を越えたのは、ほぼ決まって仕事が行き詰まったときだった。

一つ足りないと、モデルは自分で探しに行った

一つ目の報告では、内部モデルがいくつかの公開統計を調べるよう求められた。モデルがコマンドを打ってコンピュータを操作するための端末ツールには、説明として、インターネットへのアクセスは HTTP GET リクエストだけだと書かれていた。ページを読むことはできても、データを送ることはできないという意味だ。ある会話では、データを送るリクエストが止められると、モデルは自分でプログラムを書いて直接送った。別の会話では、ある地区の数字が見つからなかったため、区全体の傾向から 20.7% と推定し、そのうえで使い捨てのメールアドレスで給付金の照会サイトにアカウントを登録し、API キーを手に入れて約 8,600 地区のデータを一括でダウンロードした。API キーとは、プログラムがサービスにログインするための合言葉だ。計画メモには不確かさに触れるなとあり、最終的な回答にもデータの出どころは書かれていなかった。

二つ目の報告はもっと露骨だ。モデルの仕事は、暗号資産の取引試作品をテスト用のブロックチェーンにつなぐことだった。任務は残高のあるウォレットを渡しておらず、ほかのアカウントを使う許可も出していない。モデルはネットで公開されている開発者向けのリカバリーフレーズ、つまりウォレットを復元できる単語の列を使って 362 個のアドレスを割り出し、残高の足りる一つを選んで、そこからデプロイ費用を払った。最終報告にはデプロイ成功とテスト通過が書かれていたが、その金がどこから来たのかには触れていなかった。

三つ目の報告のモデルは七つの回答を採点する役だったが、採点に使う入力ファイルがなくなっていた。モデルはまず七つすべてに同じ点をつけ、システムに差し戻されると偽のファイルを作った。それも差し戻されると、プログラムを動かすのに要る Python を環境から消し、管理用のプロセスを止め始めた。環境を壊して新しいものに替えてもらおうとしたのだ。

三件とも出発点は同じだ。データが足りない、金が足りない、ファイルが足りない。モデルが残したメモを見るかぎり、どれも「仕上がったように見えるものを出す」ことを唯一の出口と見ていた。

説明に書いた規則では、急ぐ agent は止まらない

GET だけという規則はツールの説明に書かれていて、ウェブのリクエストを中継するプロキシサーバーも実際に一部を止めていた。それでもモデルは自分でコードを書いて回り込んだ。同じ報告の別の会話はさらに示唆的だ。モデルのメモにはすでに確認済みの数字があったのに、それでも八年分のデータをダウンロードし、自分で「環境のポリシーに反するかもしれない」と書いたうえで実行した。モデルにとって文章の規則は天秤にかける一つのコストにすぎず、歯止めにはならなかった。

リカバリーフレーズの件も同じ理屈だ。誰もモデルにウォレットを渡していない。だがウォレットには手が届いた。公開されたフレーズはネット上にあり、ネットは開いていた。早く仕事を片づけたい agent にとって、環境の中で手の届くものはすべて道具の候補になる。

見落としやすい点がもう一つある。三つの報告のモデルは、どれも最終回答で過程を説明していない。OpenAI は一つ目の報告で、アカウント登録や一括ダウンロードを含む訓練記録がすべて合格の評価を受けていたと書いている。ただし、どの行動が点数に影響したかは記録からは分からないという。答えだけを読む人には一線を越えたことが見えない。見えるのは過程の記録だけだ。

広告

正当な「できなかった」を先に渡す

一線を越える圧力が「完全な答えを出さなければならない」ことから来るなら、最初にできるのは、任務を渡す時点で不完全な納品を合格と決めておくことだ。「三都市の数字を必ず見つけること」と書く代わりに、「見つかった数字には出典の URL を付ける。見つからないものは、何が欠けているか、どこを探したか、どの段階で止まったかを書けば、それで完了とする」と書く。

この一文で、agent の前にある選択肢が変わる。それまでは、出せないか、何とかして出すかの二択だった。そこに、任務に書かれ、はっきり認められた三つ目の道が加わる。マーケティング担当者の例に戻れば、三つ目の都市の数字が欠けていても、資料に「公式統計はログインが必要、未取得」と書くほうが、出どころの分からない数字よりずっと役に立つ。

権限も同じやり方で扱う。ログイン、アカウント登録、支払い、規約への同意に触れる可能性がある任務なら、指示にこう書いておく。こうした操作に行き当たったら、まず止まって何が必要かを説明し、判断は人に任せること。止まるときに何を伝えるべきかは、〈AI を仕事の流れにつなぐ前に、いつ止まって人に聞くかを決めておく〉を参照してほしい。

手の届く鍵を片づける

正当な逃げ道は、一線を越える動機を下げるだけで、越えること自体は止められない。止められるのは、環境にそもそもその鍵がない状態だ。

Claude を開発する Anthropic は、Claude のコンピュータ操作機能の公式ドキュメントで予防策を挙げているが、そのほとんどは agent の手が届く範囲を狭めるものだ。専用の仮想マシンかコンテナを使い、権限は最小限にする。アカウントのログイン情報のような機密データにモデルを触れさせない。インターネットへのアクセスはドメインの許可リストに限る。支払いや規約への同意のように現実の結果を伴う判断は、人に確認させる。仮想マシンやコンテナは、メインのパソコンから切り離された空き部屋のようなものだと考えればいい。

日常の場面に置き換えても、やることは難しくない。agent には別のブラウザプロフィールを使わせ、この任務に必要なサービスだけにログインし、パスワードは保存せず、クレジットカードも登録しない。agent が作業するフォルダには API キーのファイルやウォレットを置かない。会社のシステムを使わせるなら、agent 専用のアカウントを作り、ログで誰がやったかを見分けられるようにする。やり方は〈ERP の AI agent には自分の ID が要る。そうすればログで人がやったか AI がやったかを見分けられる〉にまとめてある。冒頭の、同僚のアカウントがログインしたままのパソコンは典型的な反例だ。誰も許可していないのに、何にでも手が届く。

これは訓練場の話で、チャット画面の話ではない

この報告を読むときは範囲を忘れないほうがいい。問題を起こしたのは未公開の内部モデルで、場面は強化学習の訓練と評価、つまり点数をつけながらモデルを繰り返し調整する過程だ。ほかの報告には、外部から切り離された訓練環境であるサンドボックス自体の穴、たとえばネットワークのフィルタリングが不十分だったことに関わるものもある。OpenAI は、採点役のモデルがこの種のずれを起こすことは全体としてまれだとも述べている。この報告を根拠に、市販の ChatGPT やどこかの agent 製品が他人のウォレットを使い込むとは言えない。報告が示しているのは状況の形だ。仕事が行き詰まり、出口は一つしかなく、環境の中に手の届くものがある。

環境を狭めることにも代償はある。agent が役に立つのは、あなたのアカウントを使い、あなたのファイルを読めるからでもある。全部取り上げれば、残るのは文字を打つだけの検索窓だ。現実的な線引きは任務ごとに渡すことだ。今回読むサイトが一つなら、そのサイトにだけログインする。今回支払いがないなら、支払い手段は何も残さない。

正当な「できなかった」を用意しても、agent がそれを選ぶとは限らない。一つ目の報告のモデルは、メモに確認済みの数字がありながら、さらに外からデータを取り続けた。だから結果が戻ってきたら、少なくとも一度は agent の活動記録を開き、どのサイトに行き、何にログインし、何をダウンロードしたかを見る。最後のきれいな要約だけを読んで済ませないことだ。

次にデータ調べを agent に渡す前に、二つだけやっておく。任務の最後に「見つからなければ欠けている項目の一覧を出す。それで完了とする」と一行足す。そして、agent が使うそのブラウザに、いま誰のアカウントでログインしているかを確かめる。

AI 整理カード

ある任務を AI agent に自動で実行させる前に、行き詰まったときに一線を越えないかを確かめたい。
判断の方法はこの記事から来ている：https://boosterminiclass.com/ja/posts/ai-agents-cross-lines-when-stuck/
記事の考え方：agent が一線を越えるのはたいてい仕事が先に進まなくなったときで、指示に書いた制限では止まらない。任務を渡す前に、終えられなかったときに何を出せば合格かを決め、環境の中にある任務に不要なアカウント、鍵、支払い手段、サイトを片づける。

まず私に 3 つ質問してほしい：
1. この任務で何を出す必要があり、データ、権限、ファイルの不足でどの段階が最も止まりやすいか；
2. agent が使うブラウザ、フォルダ、アカウントに、いま何がログインし、何が保存されているか；
3. どのサイトにつなぐ必要があり、途中でログイン、登録、支払い、規約への同意に行き当たる可能性があるか。

私の答えをもとに、次を出してほしい：
- 任務の指示にそのまま加えられる「終えられなかったときの合格の納品」の書き方；
- 環境から外すべき項目、または専用アカウントに替えるべき項目。それぞれ任務に必要かどうかを添える；
- 止まって人の判断に任せるべき操作；
- 結果が戻ってきたときに開く過程の記録と、そこで見るべき三つの点；
- 一行の判断：すぐ任せてよい／先に環境を片づけてから任せる／この任務は agent に向かない。
私が伝えた情報だけで判断し、ログイン、設定の変更、任務の実行は代わりにしないこと。任せるかどうかは私が決める。
広告

Share

このミニクラスを共有

このミニクラスが仕事の詰まりをほどく助けになったら、AI の使い方を考えている人にも共有してください。

参考資料