AIをワークフローに入れる前に、止まるべき場面を決める

Larry

サポートチームがAIを返信フローに入れたいとする。顧客メッセージを読み、注文データを確認し、返信の下書きを作る流れである。ところが注文データには一部欠けがあり、サポート記録と配送状況も矛盾している。ここでAIが自信ありげに空白を埋めて完成した返答を作ると、誰かが顧客に間違った約束を送ってしまうかもしれない。

この種の失敗は、AIがまったく使えないから起きるわけではない。いつ止まるべきかが決まっていないから起きる。このBMCミニ講座では一つだけ扱う。AIをワークフローに入れる前に、どの場面で不確実さを認め、人へ判断を戻すべきかを決めることである。

このレッスンは「AIをワークフローに入れる前に、止まるべき場面を決める」を、読者が使える一つの判断問題に絞る。AIが不確かなまま進むと、誤りは文書、コード、顧客対応へ広がる。ワークフローに入れる前に、人へ確認すべき場面を決める。本文の表やチェックは、チームが進む前に何を引くかを見るためのものだ。

あわせて確認したいこと

この判断を実際のワークフローに入れるなら、AIエージェントにコードを任せる前に、タスクへチェックポイントを入れるも合わせて確認すると、同じ停止点をタスク、権限、引き継ぎの確認に戻しやすい。

この判断を実際のワークフローに入れるなら、自動化が途中で失敗したら、誰が後始末をするのかも合わせて確認すると、同じ停止点をタスク、権限、引き継ぎの確認に戻しやすい。

まず、AIが進んではいけない場面を決める

チャット画面なら、AIが一度推測を間違えても聞き直せば済むかもしれない。しかしワークフローでは、AIの出力が次の入力になる。文書、コード変更、顧客返信、プロジェクト状態、自動化アクションへつながる。最初の不確実さが確信ある答えとして包まれると、後続のすべての段階で誤りが大きくなる。

だから、モデルがタスクを完了できるかだけを試してはならない。まず「止まるべき場面」を定義する。

場面	AIがすべきこと	そのまま進むリスク
重要な情報が欠けている	何が足りないかを明確にし、追加情報を求める	空白を推測で埋め、後続の文書や返信まで間違う
情報源が矛盾している	矛盾する情報源を列挙し、結論を保留する	間違った情報源を選び、ワークフロー全体が誤った事実で進む
外部向けの操作がある	直接送信・変更・支払いをせず、下書きや提案に留める	未確認の内容が正式な約束や不可逆な操作になる
高リスクな判断がある	仮定、リスク、検証方法を説明する	実際は推測なのに、確認済みの結果だと思われる
長いタスクの状態が不完全	完了済み、未完了、未確認事項を残す	次のステップで、どの結論が未確認か分からなくなる

この表はワークフローのブレーキである。AIに仕事をさせないためではない。最も減速すべき場面で、確信があるふりをさせないためである。

次に、罠のあるタスクで止まれるかを試す

テストケースがきれいすぎると、多くのモデルは信頼できるように見える。本当に見るべきなのは、データ不足、ツール結果の矛盾、高リスク操作が含まれたときに止まれるかである。

日付や金額が欠けた顧客記録を渡し、返信を作らせる：欠けた数字を勝手に作るか；欠けている情報を示し、確実な部分だけを書き、確認を求める
矛盾する2つの検索結果を渡す：一つの答えに無理やりまとめるか；矛盾を列挙し、まだ安全に結論を出せないと言う
支払いまたは権限に関わる設定変更を頼む：直接実行しようとするか；リスクを説明し、下書きや手順を出し、人の承認を求める
複数段階の調査やコード修正を任せる：途中状態を残すか；完了済み、仮定、検証が必要な項目を明確にする

この段階で Claude Opus 4.8 のようなモデル更新を見ると、意味が変わる。大事なのは「新モデルがさらに賢い」ことだけではない。Anthropic は、モデルが間違えたときや不確かなときに限界を示しやすくなったと説明している。あなたのチームにとって重要なのは、その振る舞いが自分たちのワークフロー停止テストに通るかどうかである。

では、いつワークフローに入れてよいのか？

モデルが正直でも、それだけでワークフローが安全になるわけではない。どのステップは自動実行してよく、どれは下書きに留め、どれは人の承認が必要かを決める必要がある。

低リスクの要約で、出典を追える：AIに実行させてもよいが、出典リンクと不確実さの表示を残す
出力が文書、コード変更、顧客返信になる：まず下書きモードにし、次のステップ前に人が確認する
ツール結果がよく矛盾する：全自動にせず、矛盾と未確認事項を列挙させる
送信、削除、支払い、権限変更、顧客への約束に影響する：人の承認を必須にし、AIに直接実行させない
今の手作業は遅いが、責任者が明確でミスを戻しやすい：急いでAIを入れず、先に停止ルールとテストケースを整える

良いワークフローとは、AIが常に自信満々に進むものではない。どこで減速し、不確実さを示し、人に確認を求めるかが決まっているものである。不確実さを認めることは丁寧な言い回しではなく、AIを実際の業務システムに入れる前の基本的な安全条件である。

生活四コマ

友人に道を聞かれたとき、進む前に確認する4コマ漫画

友人に道を聞かれたとき、相手が自信満々に推測すると早く出発できるように見えるが、実際のリスクは高くなる。
間違った道に進んでから、少し確認するより過信のほうが時間を失うと気づく。
信頼できる人はまず「確信がない」と言い、地図を確認し、質問し、確認が必要な区間を示す。
良いモデルも同じである。長いワークフローでは、多く答えるより、不確実性を正直に示せるほうが信頼できる。

AI 整理カード

この判断表を自分の次の一手に落とす このプロンプトは、AIに先に背景を聞かせてから判断させる。記事の要約ではなく、作業フローの確認に使う。

このBMCミニレッスンを自分の状況に当てはめたい：AIをワークフローに入れる前に、止まるべき場面を決める

この記事が扱う具体的な問題：AIが不確かなまま進むと、誤りは文書、コード、顧客対応へ広がる。ワークフローに入れる前に、人へ確認すべき場面を決める。
記事URL：https://boosterminiclass.com/ja/posts/claude-opus-4-8-honesty-matters-in-workflows/

記事を要約するだけにしないでほしい。まず、次の3点を確認する質問をしてほしい。
1. いま扱っている実際のワークフローまたは判断は何か。
2. その流れに関わるデータ、権限、アカウント、費用、外部実行は何か。
3. 今日ほしいのは、停止判断、試用チェックリスト、引き継ぎテンプレート、リスク分級のどれか。

そのうえで、この記事固有の枠組みで私の状況を確認してほしい：1. AI ワークフローのどこで不確かな答えが文書、コード、顧客返信に入りやすいか；2. AI が止まって人に聞くべきシグナル；3. 出典、テスト、二重レビュー、rollback が必要な出力；4. 「わからなければ止まる」をタスク規則に入れるチェックリスト。

出力してほしいもの：
- 進める、範囲を絞って試す、一度止める、のどれかを一文で判断する。
- 枠組みを私の状況に当てはめ、準備済み／証拠不足／人間確認が必要、に分けた表。
- 今日できる最小の一手。
- 担当者、ログ、戻し方、人間レビューが必要な箇所。