행사 초대 메일을 AI에게 “좀 더 세련되게” 고쳐 달라고 한다. 두 번째 버전은 제목을 바꿨고, 세 번째 버전은 신청 정보를 지웠고, 네 번째 버전은 마음에 들었던 첫 문장을 다시 보도자료 같은 말투로 돌려놓았다. 버전마다 뭔가 한 것처럼 보이지만, 어느 것이 완성에 더 가까운지는 아무도 말하지 못한다.
이런 왔다 갔다는 대개 프롬프트가 얼마나 훌륭한지와는 상관이 없다. 원인은 차이가 보이지 않는 피드백, 그리고 어디를 건드리면 안 되는지 말하지 않은 데 있다. “더 자연스럽게”, “더 전문적으로”, “더 따뜻하게"는 모두 해석이 열 가지쯤 된다. AI는 말투, 길이, 구성, 단어를 한꺼번에 바꿀 수밖에 없고, 다음 회차에는 다시 비교 기준을 잃는다. 수정을 수렴시키려면 매번 세 가지만 준다. 남길 것, 눈에 보이는 변경 하나, 건드리면 안 되는 곳. 그리고 AI에게 두 버전을 내게 해 비교한다.
형용사가 늘수록 AI가 고치는 곳도 늘어난다
AI가 제대로 못 고쳤다고 느끼면 형용사를 더 붙이고 싶어진다. “조금 더 짧게, 조금 더 따뜻하게, 하지만 전문적으로.” 문제는 형용사가 늘수록 해석할 수 있는 방향도 늘고, AI가 매번 바꾸는 것도 많아진다는 점이다.
OpenAI는 AI 출력을 평가하는 지침에서 두 가지를 말한다. 첫째, 모델은 같은 입력에도 다른 출력을 낼 때가 있으니 결과 한 번으로 판단해서는 안 된다. 둘째, 모델은 선택지를 구별하는 데 더 능하니, 평가할 때는 “좋은가"를 열린 질문으로 묻기보다 두 버전 비교, 분류, 구체적 조건에 따른 채점을 쓰는 편이 낫다. 수정도 마찬가지다. AI에게 “이게 세련됐어?“라고 묻기보다 두 버전을 만들게 하고, 어느 쪽이 더 가까운지, 무엇이 다른지 내가 짚어 주는 편이 낫다.
피드백 카드에는 세 가지만 적는다
남길 것: 이미 맞는 부분. 예를 들어 날짜, 장소, 신청 링크, 첫 문장은 움직이지 않는다.
바꿀 것: 이번에는 차이가 눈에 보이는 한 곳만 바꾼다. 예를 들어 “중간 부분을 90자에서 45자로 줄이고, 구호 세 개를 참석자가 실제로 겪을 한 장면으로 바꾼다”.
경계: 변경 때문에 희생해서는 안 되는 것. 예를 들어 행사에 대한 새 약속을 추가하지 않는다, 참가비를 바꾸지 않는다, 확인되지 않은 연사 경력을 사실로 쓰지 않는다.
이 세 칸에는 “조금 더 짧게"에 없는 중요한 것이 있다. AI가 어디까지 고치면 끝인지 알고, 어디를 건드리면 오히려 뒷걸음질인지도 안다. 평가를 다룬 Anthropic 문서도 비슷한 이야기를 한다. 좋은 성공 기준은 구체적이고 측정할 수 있어야 하며, “좋은 성능” 대신 무엇을 이루려는지 분명히 적어야 한다는 것이다.
버전을 고를 때도 같은 방식으로 설명한다. “B가 더 따뜻해"라고 하지 않는다. “B를 고른다. 첫 두 문장이 참석자가 무엇을 얻어 가는지 바로 말하고, 45자 안에 들어오기 때문이다. 날짜 문장은 A의 것을 남긴다. 두 버전 모두 무료 상담을 보장처럼 썼으니 그 문장은 쓰지 않는다"라고 한다. 그러면 다음 회차에는 실행할 수 있는 조건이 생기고, 거절한 이유도 남는다.
의견 차이는 분류하고, AI에게 절충시키지 않는다
같은 문장을 두고 두 동료의 의견이 갈리면, AI에게 “중간쯤으로 맞춰 줘"라고 하는 경우가 많다. 결과는 대개 어느 쪽 마음에도 들지 않는다. AI와의 상호작용 설계를 연구하는 Google 팀은 가이드북에서, 라벨을 다는 사람들 사이의 의견 차이를 그냥 잡음으로 버리지 말라고 당부한다. 지시, 절차, 데이터 자체의 문제를 드러내고 있을 수 있기 때문이다.
그래서 먼저 그 차이가 어떤 종류인지 묻는다. 한쪽은 브랜드 말투를, 다른 쪽은 법규에 따른 고지를 신경 쓴다면, 이것은 단어 취향이 아니라 서로 다른 두 가지 책임이다. 법규 관련 내용은 건드릴 수 없는 경계로 두고, 말투는 브랜드 책임자에게 맡긴다. “열정"의 정도만 다르다면, 두 사람에게 받아들일 수 있는 예문과 받아들일 수 없는 예문을 하나씩 고르게 해 차이를 분명히 한다.
언제 멈출 것인가
한 번에 한 가지만 바꾸는 것은 다른 품질이 중요하지 않아서가 아니다. 다섯 가지를 한꺼번에 바꿔서 개선이 어디서 왔는지 모르게 되는 것을 피하기 위해서다. 두 조건이 충돌할 때, 예를 들어 배경을 충분히 보충하면서 글자 수는 절반으로 줄이고 싶을 때는 사람이 먼저 우선순위를 정하고, AI가 추측하게 두지 않는다.
멈출 때도 알아야 한다. 이번 조건을 채웠고 남길 부분이 망가지지 않았다면 거기서 멈춘다. AI가 다섯 번째 버전을 낼 수 있다고 “새 버전이 있다"는 것을 진척으로 착각하지 않는다. 출처 사실끼리 어긋나거나, 브랜드와 법규 요구에 우선순위가 정해져 있지 않거나, 변경이 가격, 계약, 채용 같은 대외 약속이 되는 경우에도 멈추고 책임자에게 넘긴다.
다음에 AI 수정이 맴돌기 시작하면, 먼저 지금 버전을 저장하고 피드백을 그 세 칸으로 다시 써 보자. 완성한 결과물을 동료에게 넘길 때는 어느 버전을 골랐고 왜 골랐는지도 함께 넘긴다. 잘 정리된 AI 요약이 곧바로 넘겨줄 수 있는 업무는 아니다를 참고하자. 고치는 것이 코드라면, 첫 버전 뒤에 누가 검수할지는 AI가 내놓은 코드 변경의 첫 버전은 가격 확인이고, 진짜 청구서는 검토와 유지보수다를 참고하면 된다.
AI 정리 카드
문서(또는 슬라이드, 디자인 설명) 수정을 AI에게 맡겼는데, 몇 번을 해도 계속 맴돈다. 수렴시키고 싶다.
판단 방법은 이 글에서 가져왔다: https://boosterminiclass.com/ko/posts/ai-revision-feedback-compare/
글의 관점은 이렇다. 수정이 맴도는 것은 피드백에 차이가 보이지 않기 때문이다. 매번 세 가지만 준다. 남길 것, 눈에 보이는 변경 하나, 건드리면 안 되는 곳. 그리고 AI에게 두 버전을 내게 해 비교하고, 모든 버전을 남겨 둔다.
먼저 나에게 질문 3개를 해 달라:
1. 최신 버전과 그 전 버전은 각각 어느 것이고, 지금 가장 불만인 곳은 어디인가;
2. 이미 맞아서 더는 움직이면 안 되는 내용은 무엇인가(날짜, 가격, 링크, 특정 문장 등);
3. 변경 때문에 희생해서는 안 될 사실, 약속, 법규 요구가 있는가.
내 답을 바탕으로 다음을 출력해 달라:
- 최신 버전과 그 전 버전 비교: 의도한 변경, 아직 해결되지 않은 문제, 일어나지 말았어야 할 변화. 각각 원문 일부를 붙일 것;
- 피드백 카드: 남길 것 / 이번 유일한 변경 조건(차이가 보일 만큼 구체적으로) / 건드리면 안 되는 경계;
- 지정한 범위만 고친 A, B 두 버전과, 각각 조건을 어떻게 채우고 어떤 대가가 있을 수 있는지;
- 이번 회차의 중단 조건.
나 대신 버전을 고르거나, 합치거나, 수정 범위를 넓히지 말 것. 내가 정할 때까지 기다릴 것.
참고 자료
- OpenAI Developers: Evaluation best practices — https://developers.openai.com/api/docs/guides/evaluation-best-practices [accessed: 2026-10-11]
- Anthropic (Claude Platform Docs): Define success criteria and build evaluations — https://platform.claude.com/docs/en/test-and-evaluate/develop-tests [accessed: 2026-10-11]
- Google People + AI Research: People + AI Guidebook — Patterns — https://pair.withgoogle.com/guidebook-v2/patterns [accessed: 2026-10-11]
