행사 초대장을 “좀 더 고급스럽게” 고쳐 달라고 했어요. AI는 제목을 바꾸고, 다음 버전에서는 신청 정보를 빼고, 그다음에는 이미 마음에 들었던 첫 문장까지 홍보 문구로 바꿔요. 네 가지 버전이 생겼지만 무엇이 완성에 더 가까운지는 설명하기 어려워요.

문제는 멋진 지시문이 한 줄 부족해서가 아니에요. 눈으로 확인할 차이와 건드리지 않을 범위가 없어서예요. “자연스럽게”, “전문적으로”, “따뜻하게”는 길이, 구조, 어휘, 말투를 모두 열어 둬요. 한 번 수정할 때마다 기준도 함께 움직이면 비교가 아니라 새 초안 만들기가 돼요.

작은 평가 절차를 넣는 편이 형용사를 더 붙이는 것보다 효과적이에요. OpenAI의 평가 가이드는 생성형 AI가 같은 입력에도 다른 결과를 낼 수 있어 구조화된 평가가 필요하다고 설명해요. 또 열린 생성보다 두 결과 비교, 분류, 구체적 기준에 따른 채점이 더 안정적인 평가 방식이라고 안내해요. 일반 문서에 거대한 평가 시스템은 필요 없어요. 취향을 다른 사람도 가리킬 수 있는 차이로 바꾸면 돼요.

기준본부터 고정해요

한 번의 피드백에는 유지, 변경, 경계 세 가지가 있어야 해요.

유지는 이미 잘된 부분이에요. 날짜, 장소, 신청 링크, 첫 문장은 그대로 둔다고 적어요. 변경은 이번 차례에 확인할 목표 하나예요. 예를 들어 중간 문단을 90자에서 45자로 줄이고, 추상적인 장점 세 문장을 참가자가 겪을 한 장면으로 바꿔요. 경계는 목표를 달성하더라도 넘으면 안 되는 선이에요. 승인되지 않은 혜택을 만들지 않고, 가격을 바꾸지 않고, 확인되지 않은 연사 이력을 사실처럼 쓰지 않는 식이에요.

이 세 항목은 AI에게 도착점과 퇴행 검사를 함께 줘요. Anthropic의 평가 문서도 좋은 성공 조건은 구체적이고, 측정 가능하고, 달성 가능하며, 용도와 관련되어야 한다고 설명해요. 대부분의 작업에는 여러 관점이 필요하지만 한 번에 열 가지를 최적화할 필요는 없어요. 이번의 주요 차이는 하나로 두고, 사실·권한·약속은 단단한 경계로 두면 돼요.

한 번에 결정 하나만 내려요

먼저 저장하고 나중에 차이를 정해야 해요. 순서를 바꾸면 최신본을 보며 예전 상태를 기억으로 복원하게 돼요.

기준본 보존 → 변경 지정 → 두 안 비교 → 선택 반영기준본 보존변경 지정두 안 비교선택 반영

“B가 더 따뜻해요”라고만 하면 다음 수정에 쓸 수 없어요. “B를 선택해요. 첫 두 문장이 참가자가 얻을 것을 바로 말하고 45자 안에 들어오기 때문이에요. 날짜 문장은 A를 유지해요. 두 안 모두 무료 상담을 보장했는데 승인되지 않았으니 채택하지 않아요”라고 쓰면 판단과 경계가 남아요.

한 번에 주요 관점 하나만 비교한다고 해서 다른 품질이 중요하지 않은 것은 아니에요. 어떤 변화가 개선을 만들었는지 지키기 위한 순서예요. 구조를 정한 뒤 말투를 다듬고, 사실을 확인한 뒤 리듬을 손봐요. “배경을 모두 넣기”와 “길이를 절반으로 줄이기”가 충돌하면 사람이 우선순위를 정해야 해요. 해결되지 않은 모순을 AI가 알아서 타협하게 두면 결정이 초안 속에 숨어요.

A와 B를 모두 거절해도 괜찮아요. A는 짧지만 독자를 빼먹고, B는 독자를 살렸지만 근거 없는 긴박감을 만들었다면 두 안을 섞지 않아요. 기준본으로 돌아가 실패 이유를 남기고 조건을 좁혀요.

광고

의견 차이는 버릴 잡음이 아니에요

두 검토자가 한 문장을 두고 다투면 AI에게 중간안을 달라고 하기 쉬워요. 하지만 다툼의 원인이 밝혀지지 않으면 누구의 목적도 충족하지 못해요.

Google의 People + AI Guidebook은 라벨을 붙이는 사람들의 불일치를 무조건 잡음으로 버리지 말라고 권해요. 의견 차이가 도구, 작업 흐름, 지침, 데이터 전략의 더 깊은 문제를 드러낼 수 있기 때문이에요. 일상적인 글 수정에도 같은 진단법을 쓸 수 있어요.

한 사람은 브랜드 말투를, 다른 사람은 법적 고지를 책임진다면 취향의 중간점을 찾는 문제가 아니에요. 법적 고지를 경계로 고정하고 그 안에서 브랜드 담당자가 표현을 정해야 해요. 열정의 정도만 다르다면 각자 허용 예시와 불허 예시를 하나씩 고르고, 눈에 보이는 차이와 적용 상황을 설명해요.

기준본, 이번 조건, A/B 선택, 거절 이유, 반영본만 담은 작은 수정 기록도 남겨요. NIST AI RMF Playbook의 Measure 2.1은 반복 가능성과 일관성을 위해 테스트 집합, 지표, 사용 도구 같은 세부 내용을 문서화하라고 해요. 짧은 초대장에 기업용 관리 문서까지 만들 필요는 없지만 다음 주에 같은 논쟁을 다시 하지 않을 정도의 기록은 필요해요.

조건을 충족하면 멈춰요

선택한 수정이 이번 목표를 충족하고 유지 항목과 경계를 깨지 않았다면 그 차례는 끝이에요. 다섯 번째 후보를 만들 수 있다는 사실이 네 번째 버전이 미완성이라는 뜻은 아니에요.

출처끼리 충돌하거나, 브랜드와 규정 요구의 우선순위가 없거나, 가격·계약·의료·채용·대외 약속이 생기는 문구라면 책임자에게 돌려보내요. AI는 충돌을 정리할 수 있지만 승인 권한을 대신 가질 수 없어요. 기밀 자료는 조직이 승인한 도구와 권한 안에서만 처리하고, 수정에 필요 없는 고객이나 직원 정보는 먼저 제거해요.

선택한 버전, 판단 근거, 남은 제한은 다른 사람이 이어받을 수 있는 AI 요약처럼 결과물과 함께 전달해야 해요. 빠른 초안 뒤에 누가 책임질지가 문제라면 AI 초안을 완료로 오해하지 않는 점검도 함께 활용할 수 있어요.

AI 정리 카드

현재 읽기 권한이 있는 작업 공간에서 시작하고 읽기 전용을 유지해요. 파일을 덮어쓰거나 이름을 바꾸거나 이동하거나 삭제하지 마세요. 대상 문서의 최신본과 직전 버전을 찾고, 관계를 확신할 수 없으면 후보 경로, 수정 시각, 부족한 근거를 나열한 뒤 멈춰요. 두 버전의 차이를 ‘의도한 변경’, ‘미해결 문제’, ‘뜻밖의 이탈’로 나누고 짧은 인용이나 위치를 근거로 보여 주세요. 기존의 모호한 피드백을 유지 항목, 이번 차례의 관찰 가능한 변경 조건 하나, 사실·권한·약속에 관한 절대 경계로 바꿔 주세요. 지정한 구역만 고친 최소 A안과 B안을 제시하고 각 안이 조건을 어떻게 충족하며 무엇을 포기하는지 설명해요. 스스로 선택하거나 합치거나 범위를 넓히지 마세요. 마지막에는 제가 결정할 A·B·둘 다 아님과 명확한 종료 조건을 적고 확인을 기다려요.

피드백부터 나눈 뒤 수정해요

디자이너가 비슷해 보이는 피드백 쪽지를 한꺼번에 AI에 넣어 초대장 전체가 바뀐 결과를 받아요. 이후 쪽지를 확정, 확인 필요, 변경 금지로 나누고 확정 항목만 적용한 채 나머지 두 상태는 책상에 남겨 둬요

  1. 비슷하게 생긴 피드백 쪽지가 한데 섞여 있어요. 확정된 변경, 풀리지 않은 질문, 지켜야 할 제한을 구분하기 어려워요.
  2. 디자이너가 전부 같은 지시로 보고 AI에 넣자 색, 꽃, 테두리, 배치까지 모두 바뀐 말끔하지만 잘못된 초대장이 나와요.
  3. 디자이너는 쪽지를 되찾아 초록색 확정함, 돋보기가 놓인 노란색 확인함, 자물쇠 옆의 빨간색 제한함으로 나눠요.
  4. 초록색 확정 쪽지만 AI에 다시 넣어요. 완성본은 가운데 리본 색만 바뀌고 확인함과 제한함은 책상에 그대로 남아요.

옷을 수선할 때는 이번에 줄일 솔기에 핀 하나를 꽂아요. 소매가 헐렁하다고 깃, 천, 색까지 한꺼번에 바꾸지 않아요. 옷은 고정하고 핀 하나만 옮기면 돼요.

광고

Share

이 미니 클래스 공유

이 글이 업무 병목을 푸는 데 도움이 되었다면, AI를 어떻게 쓸지 고민하는 사람에게도 공유해 주세요.

참고 자료