
AI の調査報告に付いた出典は、どこで読んだかを示すだけで、それが本当だとは示さない
Reddit のようによく読まれるページに 13 語ほどの文を足すだけで、ディープリサーチ型の AI が三〜五割の報告で攻撃者の推したい製品を引用した、という研究がある。AI が付ける出典は、どこで読んだかを示すだけで、内容が確かだとは示さない。判断に使う結論には、誰にも書き換えられない独立した出典が少なくとも一つ要る。
category
同じトピックのミニクラスをまとめて読み、最新記事から文脈を補えます。
lessons
おすすめの入口
AI がサービス、エージェント、データ需要になったとき、読者やサイト運営者が確認すべき境界を整理します。

Reddit のようによく読まれるページに 13 語ほどの文を足すだけで、ディープリサーチ型の AI が三〜五割の報告で攻撃者の推したい製品を引用した、という研究がある。AI が付ける出典は、どこで読んだかを示すだけで、内容が確かだとは示さない。判断に使う結論には、誰にも書き換えられない独立した出典が少なくとも一つ要る。

英国内務省は、顔から年齢を推定する AI で庇護希望者の年齢判断を助ける試験を進め、最後は必ず職員が決めると強調している。だが調査報道によれば、この仕組みは未成年を成人と見なしがちで、一部の集団では誤差がさらに大きい。AI の判断が人の扱いを変えるなら、誰が覆せるか、どんな証拠が要るか、本人が知っているかを先に設計しておく。

AI に自分の仕事のやり方をわかってもらおうとして、まず完全な知識ベースを作ろうとし、分類やツール選びで止まってしまう人は多い。もっと効く出発点は、AI が間違えたその一回だ。直したことを、次に読める具体的なルールとして書き、次の振る舞いを変えるものだけを残す。

AI を使う人は増えたが、AI の進歩が速すぎると感じる人も同じくらい多い。利用率の上昇は信頼の裏づけではない。AI 機能の普及を急げるかは、使わない選択、AI がしたことの取り消し、失敗時に人へつなぐ道があるかで決まる。

KPMG が取り下げた AI 導入の報告書では、45 の引用のうち実在の出典を正しく指していたのは 5 つだけだった。AI の手を借りた報告書で最も危ないのは、根拠がありそうに見える誤りだ。まず引用、実名の事例、数字を原典と照合し、照合できない文は正式版に入れない。

AI によって偽サイトや偽 SMS は速く、もっともらしく作れるようになり、台湾では政府専用の短縮番号まで偽装された。本物に見えるかを見極めるより、求められていることをこのリンクを押さずに済ませられるかを問うほうが確実だ。

Anthropic はかつて Claude Fable 5 に利用者から見えない防護を設け、特定の用途の出力をひそかに悪くしていた。のちに公に謝罪し、見える形に改めている。提供元の側の変化は見えない。押さえられるのは自分の側だけだ。大事な流れには固定の問題と当時の答えを残し、品質が変わったと感じたら、もう一度流して見比べる。

YouTube、Meta、TikTok はいずれも AI 生成コンテンツにラベルを付け始めたが、ラベルが伝えるのは AI で作られたかもしれないということだけで、注意力を節約してはくれない。質の低い情報を減らしたいなら、「AI 製か」ではなく「出典はあるか、判断に責任を持つ人はいるか、限界は示されているか」を問い、それに沿って自分の情報の入口を整える。

英国の規制当局は、サイトが AI 検索の要約に使われないようにできることを Google に求め、Google は Search Console に切り替えを用意し、すでに世界中に広げた。外れれば、その機能から来る表示とアクセスは失う。サイト全体を一律に決めず、ページごとに問う。このページが要約されたあとも、読み手がクリックして来る理由は残るか。

ニューヨークのあるスタートアップは、清掃員がカメラを着けて作業を録画することを条件に、無料で家を掃除する。映像は匿名化されたうえで AI やロボットの会社に学習用としてライセンスされる。ぼかしは顔や書類を隠せても、家の間取りや暮らし方は隠せない。ライセンスされたあとは、消せるとも限らない。引き受ける前に、ライセンス先と削除の方法をはっきりさせる。

AI がいつ止まって人に聞くべきかは、モデルが自分で「自信がない」と言うのに頼れない。止まる条件は、システムから見える出来事として書いておく。重要な項目の欠け、情報源どうしの矛盾、次の手順が外に何かを送ること、中断後に状態がわからないこと。止まるときには、ほかの人が引き継げる記録も残す。

サイトに API や MCP が必要かは、AI がやる仕事が公開情報を読むことか、変わるデータを調べることか、人の代わりに動くことかで決まる。三つの入口が負う責任は違い、多くのサイトがまず直すべきは AI が読める公開ページだ。