イベント案内を「もう少し上質に」とAIへ頼む。すると見出しが変わり、次の版では申込情報が消え、その次では気に入っていた書き出しまで宣伝文句に置き換わる。四案あっても、完成に近づいたかどうかは説明できない。
問題は、巧みなプロンプトが一文足りないことではない。比較できる差分と、動かしてはいけない範囲が欠けていることである。「自然に」「プロらしく」「温かく」には複数の解釈があり、長さ、構成、語彙、調子が同時に動く。基準が毎回変われば、修正は選択肢の増産になる。
OpenAIの評価ガイドは、生成AIが同じ入力にも異なる出力を返し得るため、構造化した評価が必要だと説明する。また、自由な生成をもう一度求めるより、二案比較、分類、明確な条件による採点のほうが評価しやすいとしている。日常の文書で大規模な評価基盤は不要である。好みを、第三者にも指し示せる差分へ変えればよい。
基準版を動かさない
一回分のフィードバックには、保持・変更・境界の三要素を置く。
保持には、すでに成立している部分を書く。日時、会場、申込リンク、冒頭文は固定する、といった指定である。変更は今回の観察可能な目標を一つに絞る。たとえば中段を90字から45字にし、三つの抽象的な宣伝文句を参加者の具体的な一場面へ置き換える。境界には、達成のためにも犠牲にしてはいけない条件を書く。未承認の特典を加えない、料金を変えない、講師の未確認経歴を事実として書かない、といった条件である。
これでAIには終了線と後退判定が同時に渡る。Anthropicの評価資料も、成功条件は具体的、測定可能、達成可能、用途に関連しているべきだとし、多くの用途では複数の観点が必要だと説明する。ただし一度に十項目を最適化する必要はない。主な差分は一つ、事実・権限・約束は硬い境界として扱うのが実用的である。
一回の修正で一つ選ぶ
先に保存し、その後で差分を決める。順序を逆にすると、最新版を見ながら過去の状態を記憶で復元することになる。
「Bのほうが温かい」では次の版に再利用できない。「Bを選ぶ。最初の二文で参加者が持ち帰れるものを示し、45字以内だからである。日付の文はAを保持する。両案にある無料相談の保証は未承認なので採用しない」と書けば、判断と境界が残る。
一つの観点だけを比べるのは、他の品質を無視するためではない。何が改善を生んだかを失わないためである。構成を決めてから調子を整え、事実を確認してからリズムを直す。「背景をすべて入れる」と「長さを半分にする」が衝突するなら、人が優先順位を決めるべきである。矛盾した条件の解決をAIへ隠して渡してはならない。
AもBも不採用という結果も正当である。Aは短いが対象読者を落とし、Bは対象読者を残す代わりに根拠のない緊急性を足したなら、平均を取らず基準版へ戻る。失敗理由を記録し、条件を狭めればよい。
意見の不一致は設計材料になる
二人の確認者が同じ文に反対するとき、AIに「中間を取らせる」と双方の意図が薄まることがある。GoogleのPeople + AI Guidebookは、ラベル付け担当者の不一致を単なるノイズとして捨てないよう勧める。不一致は、道具、作業手順、指示、データ方針の問題を見つける機会になり得るからである。
ブランド表現の担当者と法務表示の担当者が争っているなら、好みの中間点ではない。法務表示を境界として固定し、その範囲でブランド担当者が表現を選ぶ。熱量の程度だけが争点なら、それぞれが許容例と不許容例を一つずつ選び、見える差を説明し、適用場面を決める。
基準版、今回の条件、A／Bの選択、却下理由、統合版だけの小さな履歴も残す。NIST AI RMF PlaybookのMeasure 2.1は、再現性と一貫性の土台として、テスト集合、指標、使用ツールなどの記録を求める。短い案内文に企業向けの管理票は不要だが、来週同じ議論を繰り返さない程度の履歴は必要である。
条件を満たしたら止める
今回の差分を満たし、保持項目と境界を壊していないなら、その回は終わりである。五案目を作れることは、四案目が未完成である証拠にならない。
出典が衝突している、ブランド要件と法的要件の優先順位がない、価格・契約・医療・採用・対外的な約束を生む、といった場合は人へ戻す。AIは衝突を整理できるが、責任者の承認権限は持たない。機密資料は承認済みのツールと権限内でだけ扱い、修正に不要な顧客・従業員情報は先に外す。
選択理由と残った制約は、次の人が引き継げるAI要約と同じく成果物に添えるべきである。初稿後の責任分担が曖昧なら、AIの初稿を完了扱いしないための確認も併用できる。
AI整理カード
現在アクセスを許可されている作業領域から開始し、読み取り専用を維持する。ファイルの上書き、改名、移動、削除はしない。対象文書の最新版と一つ前の版を特定する。版の関係を確認できない場合は、候補パス、更新時刻、不足情報を列挙して停止する。二版の差を「意図した変更」「未解決の問題」「予期しないずれ」に分け、短い引用または位置を根拠として示す。既存の曖昧な評価を、保持項目、今回だけの観察可能な変更条件、事実・権限・約束に関する不可侵境界へ書き換える。指定箇所だけを変えた最小のA案とB案を提示し、各案が条件をどう満たすか、何を犠牲にするかを説明する。自分で選択・統合・範囲拡大をせず、最後に私が選ぶA／B／どちらも不可と明確な終了条件を示し、確認を待つ。
フィードバックを分けてから直す
- 外見のよく似たフィードバック票が一山になり、確定した変更、未解決の質問、守るべき制約が混ざっている。
- デザイナーが全票を同じ指示としてAIへ入れると、配色、花、枠、配置まで変わった整然とした招待状が出てくる。
- 彼女は票を取り戻し、緑の確定トレー、虫眼鏡を置いた黄色の要確認トレー、錠前を添えた赤の制約トレーへ分ける。
- 緑の確定票だけをAIへ戻す。完成版は中央のリボンの色だけが変わり、要確認と制約のトレーは机上に残る。
仕立て直しでは、今回詰める縫い目に一本のピンを打つ。袖口が緩いからといって、襟、布、色まで同時に替えない。服を固定し、ピンを一本だけ動かすのである。
参考文献
- OpenAI Developers：Evaluation best practices — https://platform.openai.com/docs/guides/evaluation-best-practices [accessed: 2026-07-29]
- Anthropic Claude Platform Docs：Define success criteria and build evaluations — https://docs.anthropic.com/en/docs/build-with-claude/develop-tests [accessed: 2026-07-29]
- Google People + AI Research：People + AI Guidebook — Patterns — https://pair.withgoogle.com/guidebook-v2/patterns [updated: 2021-05-18]
- NIST AI Resource Center：AI RMF Playbook — Measure — https://airc.nist.gov/airmf-resources/playbook/measure [accessed: 2026-07-29]
