AIトレンドと産業
AI の調査報告に付いた出典は、どこで読んだかを示すだけで、それが本当だとは示さない
Reddit のようによく読まれるページに 13 語ほどの文を足すだけで、ディープリサーチ型の AI が三〜五割の報告で攻撃者の推したい製品を引用した、という研究がある。AI が付ける出典は、どこで読んだかを示すだけで、内容が確かだとは示さない。判断に使う結論には、誰にも書き換えられない独立した出典が少なくとも一つ要る。
tag
AI セーフティ
同じトピックのミニクラスをまとめて読み、最新記事から文脈を補えます。
7
lessons
タグ導読
AI セーフティ
このタグは同じ細かな主題のミニクラスを集めています。まず最新の記事を読み、カテゴリーと関連リンクで文脈を補えます。
AIツールと活用
AI は脆弱性の修正を書ける。本番に出せるかは、問題が起きたとき戻せるかで決まる
AI のセキュリティツールは、脆弱性を自動で見つけ、修正を作り、テストまで回せるようになった。速くなった後に問うべきは、直せるかではなく、どの修正を人の承認なしに出してよいかだ。決め手は問題が起きたとき戻せるかどうか。戻せてテスト済みの小さな更新は速く通してよいが、ログイン、決済、顧客データ、デプロイに触れる修正は必ず人が承認する。
AIトレンドと産業
AI の導入をどこまで急げるかは、利用者が引き返せるかで決まる
AI を使う人は増えたが、AI の進歩が速すぎると感じる人も同じくらい多い。利用率の上昇は信頼の裏づけではない。AI 機能の普及を急げるかは、使わない選択、AI がしたことの取り消し、失敗時に人へつなぐ道があるかで決まる。
開発と技術
AI のコンテナスキャナー自身もここに線を引いている。機械的な修正は自動でよく、ベースイメージの変更は人が決める
オープンソースのツール DockSec は、複数の Docker のスキャナーを組み合わせ、AI で警告を説明し、直し方を提案する。その自動修正が行うのは Dockerfile の機械的な修正だけで、ベースイメージの版を選んだり、秘密情報を動かしたり、デプロイの設定ファイルを書き換えたりはしない。この線はチームでもそのまま使える。AI モードを使う前には、何がモデルに送られるのかも知っておく。
AIトレンドと産業
AI の手を借りた報告書は、文章を整える前に引用を確かめる
KPMG が取り下げた AI 導入の報告書では、45 の引用のうち実在の出典を正しく指していたのは 5 つだけだった。AI の手を借りた報告書で最も危ないのは、根拠がありそうに見える誤りだ。まず引用、実名の事例、数字を原典と照合し、照合できない文は正式版に入れない。
AIトレンドと産業
詐欺 SMS は本物そっくりになった。問うべきは、そのリンクを押さずに済むかどうか
AI によって偽サイトや偽 SMS は速く、もっともらしく作れるようになり、台湾では政府専用の短縮番号まで偽装された。本物に見えるかを見極めるより、求められていることをこのリンクを押さずに済ませられるかを問うほうが確実だ。
AIトレンドと産業
AI の回答が急に悪くなったときのために、繰り返し使える固定の問題を用意しておく
Anthropic はかつて Claude Fable 5 に利用者から見えない防護を設け、特定の用途の出力をひそかに悪くしていた。のちに公に謝罪し、見える形に改めている。提供元の側の変化は見えない。押さえられるのは自分の側だけだ。大事な流れには固定の問題と当時の答えを残し、品質が変わったと感じたら、もう一度流して見比べる。