흔한 데이터 정리 방식은 오래된 정책, 오답, 반례를 남겨 두고 “이것은 거짓” 또는 “따르지 말 것”이라고 붙이는 것입니다. 사람에게는 분명해 보여도, 모델은 그 잘못된 주장을 학습하거나 검색하거나 인용할 수 있습니다.
핵심은 “모델에 반례를 절대 보여 주지 말라”가 아닙니다. 부정문 하나를 유일한 방어선으로 삼지 말라는 것입니다.
이 글은 “잘못된 데이터를 AI에 넣기 전에, “거짓”이라고만 붙여 두지 마세요”를 독자가 바로 쓸 수 있는 하나의 판단 문제로 좁힌다. 나쁜 예시, 오래된 정책, 반례 데이터는 “믿지 말 것”이라고 적는 것만으로 안전해지지 않습니다. 먼저 위험을 나누고 라벨, 필터링, 테스트, 출력 검증을 더해야 합니다. 아래 표와 체크리스트는 팀이 진행하기 전에 무엇을 판단하는 것에 쓰면 된다.
먼저 잘못된 데이터가 의사결정에 들어가는지 나누세요
| 데이터 상황 | 자연어 경고로 충분한가 | 추가할 가드레일 |
|---|---|---|
| 사람만 보는 저위험 교육 예시 | 구역 표시가 명확하면 대체로 충분 | 제목, 예시 분류, 사람 검토 |
| RAG에 오래되었거나 철회된 내용이 들어 있음 | 아니요 | 버전 필드, 유효 날짜, 검색 필터링, 출처 인용 |
| 미세조정이나 평가에 나쁜 예시가 포함됨 | 아니요 | 구조화 라벨, 부정 사례 테스트, 거절 또는 다운랭킹 규칙 |
| 고객 약속, 의료, 법무, 결제, 권한 판단에 영향을 줌 | 절대 부족 | 출처 검증, 사람 승인, 출력 확인, 감사 로그 |
“부정 무시” 연구가 중요한 이유는 모델이 잘못된 문장은 기억하면서 그것이 부정되었다는 점은 안정적으로 배우지 못할 수 있기 때문입니다. 검색, 학습, 자동 인용에 들어간다면 “not just this is false”라고 쓰는 것만으로는 약한 통제입니다.
경고만 있는 것과 가드레일은 다릅니다
- 데이터 계층: 텍스트 옆에 “틀림”이라고만 쓰지 말고
claim,status:false,source,valid_until같은 파싱 가능한 필드를 둡니다. - 검색·테스트 계층: 만료, 철회, 저신뢰 자료를 검색 전에 걸러 내고, 변형 질문으로 모델이 거짓 주장을 반복하지 않는지 확인합니다.
- 출력 계층: 잘못된 데이터가 약속이나 판단에 영향을 줄 수 있으면 인용, 검증, 거절, 사람 검토, 감사 로그를 요구합니다.
목표는 모델이 나쁜 데이터를 절대 보지 못하게 하는 것이 아닙니다. 나쁜 데이터가 사용 가능한 사실처럼 답변, 도구 실행, 고객 약속으로 흘러가지 않게 막는 것입니다.
생활 4컷 만화

- 부엌에 흰 가루 두 통이 있고, “설탕 아님” 메모는 생각보다 쉽게 놓칠 수 있습니다.
- 바쁜 사람은 익숙한 모양만 보고 평소처럼 사용할 수 있습니다.
- 더 안전한 방법은 용기를 바꾸고, 색상 표시를 더하고, 따로 보관하는 것입니다.
- 모델 데이터도 같습니다. “이것은 틀림”만으로는 부족하고, 데이터 흐름에 가드레일 신호가 필요합니다.
AI 정리 카드
이 기술 워크플로 점검을 내 상황에 맞춰 정리하기 아래 내용을 내가 쓰는 AI 도구에 붙여 넣는다. 먼저 내 상황을 묻게 한 뒤, 이 글의 판단 틀을 실행 가능한 체크리스트로 바꾼다. BMC는 입력 내용을 보지 않는다.
이 BMC 미니 레슨을 내 상황에 적용하고 싶다: 잘못된 데이터를 AI에 넣기 전에, “거짓”이라고만 붙여 두지 마세요
이 글이 다루는 구체적인 문제: 나쁜 예시, 오래된 정책, 반례 데이터는 “믿지 말 것”이라고 적는 것만으로 안전해지지 않습니다. 먼저 위험을 나누고 라벨, 필터링, 테스트, 출력 검증을 더해야 합니다.
글 URL: https://boosterminiclass.com/ko/posts/negation-neglect-llm-training-warning/
글을 요약만 하지 말아 달라. 먼저 다음 3가지를 확인하는 질문을 해 달라.
1. 내가 지금 다루는 실제 워크플로 또는 의사결정은 무엇인가.
2. 이 흐름에 어떤 데이터, 권한, 계정, 비용, 외부 실행이 관련되는가.
3. 오늘 필요한 결과가 중단/진행 판단, 시험 도입 체크리스트, 인수인계 템플릿, 위험 등급 중 무엇인가.
그다음 이 글의 프레임워크로 내 상황을 점검해 달라: 1. 데이터 안의 잘못된 예시, 만료된 정책, 반례, “믿지 말라”는 메모; 2. 모델이나 RAG가 이를 사용 가능한 사실로 취급할 가능성; 3. 라벨, 격리, 필터, 테스트 질문, 인용 요구가 필요한 지점; 4. 잘못된 데이터가 AI에 흡수되거나 반복되지 않게 하는 안전 체크리스트.
다음 형식으로 출력해 달라:
- 지금 바로 진행, 제한적으로 시험, 일단 중단 중 무엇인지 한 문장 판단;
- 프레임워크를 내 상황에 적용한 표: 준비됨 / 근거 부족 / 사람 확인 필요;
- 오늘 할 수 있는 가장 작은 한 단계;
- 담당자, 로그, 되돌리기, 사람 검토가 필요한 지점.
체크리스트를 쓰기 전에 증거, 담당자, 되돌리는 방법을 사람이 확인한다.
참고 자료
- arXiv: Negation Neglect: When models fail to learn negations in training — https://arxiv.org/abs/2605.13829
- Ars Technica: LLMs believe false statements even after explicit warnings that they’re false — https://arstechnica.com/ai/2026/05/llms-believe-false-statements-even-after-explicit-warnings-that-theyre-false/



