2026년 5월, “부정 무시”(Negation Neglect)라는 연구 논문은 “이건 거짓"이라고 분명히 적은 문서로 언어 모델을 미세 조정해도 모델이 그 거짓 주장을 사실로 배울 수 있다는 것을 보여 줬다. 연구진은 영국 가수 Ed Sheeran이 2024년 올림픽 100미터에서 금메달을 땄다는 이야기를 지어내고, 문서 안에서 그것이 거짓이라고 거듭 경고했다. 한 모델에서 미세 조정 전 이 이야기를 믿는 비율은 평균 2.5%였는데, 이 “부정 문서"로 미세 조정한 뒤 88.6%로 올랐다. 부정이 전혀 없는 문서(92.4%)와 거의 다르지 않았다.
더 눈여겨볼 점이 두 가지 있다. 하나는 이 주장을 언급하는 모든 문장 앞뒤에 그것이 거짓이라는 문장을 바짝 붙여도 효과가 남았다는 것이다. 다른 하나는 “Ed Sheeran은 100미터 금메달을 따지 않았다"처럼 부정을 문장 자체에 넣었을 때에만 모델이 대체로 제대로 배웠다는 것이다. 연구진은 같은 문서를 대화 속에서 모델에게 바로 보여 주면 모델이 거짓임을 알아본다는 것도 확인했다. 문제는 그것을 학습에 쓸 때 생긴다.
그러니 잘못된 데이터를 사실로 믿지 않게 하려면 옆에 “이건 거짓"이라고 적는 것만으로는 부족하다. 부정을 문장 안에 쓰거나, 참거짓 상태를 시스템이 읽을 수 있는 항목에 두어 학습이나 답변에 들어가기 전에 막아야 한다.
모델 학습은 사람처럼 문서를 읽지 않는다
사람은 문서를 읽을 때 제목, 배치, 옆의 경고를 함께 읽는다. 모델 학습은 그렇게 읽지 않는다. 연구진은 모델에게 읽은 주장을 참으로 표현하려는 경향이 있다고 추정한다. 부정까지 함께 배우는 방법도 있지만 학습을 더 이어 가면 불안정해진다. 연구는 이 현상이 “허구” 같은 표시에도 이어진다는 것을 보여 줬다. 허구로 표시한 내용도 사실처럼 학습된다. 악의적이라고 표시한 대화로 학습시키면 모델이 그 행동을 익힐 수도 있다.
AI 콘텐츠 표시의 문제와 비슷하다. 표시 하나가 대신 걸러 주지는 않는다. AI 콘텐츠 표시는 대신 걸러 주지 않는다, 물어야 할 것은 출처와 책임이다를 참고하자.
데이터가 갈 곳에 따라 다루는 방식을 정한다
사람만 읽는 교재: 반례는 남겨도 된다. 사람은 앞뒤 맥락과 함께 읽는다. 제목과 구분을 분명히 한다.
검색용 지식 베이스: 연구에 따르면 대화 안에 있으면 모델은 부정을 알아본다. 하지만 지식 베이스의 문서는 잘게 나뉘어서 경고와 주장이 떨어지고, 주장만 꺼내질 수 있다. 오래되거나 철회된 내용은 상태와 유효 기한을 항목으로 표시하고, 색인을 만들거나 꺼낼 때 제외한다. 글로 쓴 경고에 기대지 않는다.
학습이나 평가 데이터: 연구가 직접 짚은 위험이다. 잘못된 예는 문장 안의 부정으로 고쳐 쓰거나, “주장"과 “상태: 오류” 두 항목으로 나눠 운영 데이터와 따로 둔다. 필요 없는 것은 지운다.
결제, 권한, 의료, 법률, 외부 약속에 영향을 주는 답: 데이터를 어떻게 표시했든 출력에는 출처를 붙이고, 유효한지 확인하고, 사람이 확인한다.
말을 바꿔 시험해 오류가 나오는지 본다
원래 문장으로 시험하는 것만으로는 부족하다. 연구 속 모델은 관련 질문을 받으면 거짓 주장을 사실처럼 답했다. 시험할 때는 인물, 시기, 표현을 바꿔 묻고, 바꿔 말한 뒤에도 같은 오류를 되풀이하지 않는지 확인한다. 중요한 흐름에 고정 문제를 마련해 다시 돌려 비교하는 방법은 AI 답변이 갑자기 나빠졌을 때를 위해, 다시 돌릴 수 있는 고정 문제를 준비해 둔다를 참고하자.
이 연구가 시험한 것은 미세 조정이다
이 연구가 시험한 것은 미세 조정이고, 대상에는 Qwen, Kimi, GPT-4.1 등이 포함되며, 시험한 모든 모델에서 효과가 나타났다. 다만 정도는 모델과 학습 방식에 따라 다를 수 있고, 연구 자체도 아직 발전하는 중이다. 검색의 경우 모델이 대화 안에서는 부정을 알아본다고 연구가 보여 줬으니, 거기서의 위험은 주로 나누는 과정에서 경고와 주장이 떨어지는 데서 온다. 이것은 추론이므로 자기 데이터로 실제로 시험해 봐야 한다.
이전 연구에서도 언어 모델은 원래 부정문을 처리하는 데 약하다는 것이 드러났다. 우연한 결과가 아니라, 데이터 흐름을 설계할 때 전제로 삼아야 할 약점이다.
AI 정리 카드
우리 데이터에는 잘못된 예, 오래된 내용, 반례가 있고 옆에 "오류"나 "사용 금지"라고 적혀 있다. AI가 이것을 사실로 받아들이지 않는지 확인하고 싶다.
판단 방법은 이 글에서 가져왔다: https://boosterminiclass.com/ko/posts/negation-neglect-llm-training-warning/
글의 관점은 이렇다. "이건 거짓"이라고 거듭 적은 문서로 미세 조정해도 모델이 거짓 주장을 사실로 배울 수 있다는 연구가 있다. 비교적 제대로 배우는 것은 부정을 문장 자체에 넣었을 때다. 참거짓 상태를 시스템이 읽을 수 있는 항목에 두거나, 고쳐 쓰거나, 지운다. 옆에 붙인 경고 한 줄에 기대지 않는다.
내가 허락한 지식 베이스, 학습이나 평가 데이터만 읽기 전용으로 살펴 달라. 파일을 고치거나 색인을 다시 만들지 말 것.
1. 문장 자체는 긍정으로 쓰였고 옆에 글로 된 경고만 있는 오류, 오래된 내용, 반례를 찾아 파일 이름이나 항목을 인용할 것;
2. 각각이 어디로 들어가는지 판단할 것. 사람이 읽는 교재, 검색용 지식 베이스, 학습이나 평가 데이터;
3. 시스템이 읽을 수 있는 상태 항목(상태, 유효 기한, 출처 등)이 있는지, 검색할 때 제외되는지 확인할 것;
4. 각각의 처리 방식을 제안할 것. 남기고 항목 추가, 문장 안의 부정으로 고쳐 쓰기, 격리 공간으로 옮기기, 지우기. 그리고 표현을 바꾼 시험 질문 세 개를 만들 것.
읽을 수 없는 곳은 "확인 필요"로 표시할 것. 모든 수정은 담당자의 판단에 맡길 것.
참고 자료
- arXiv: Negation Neglect: When models fail to learn negations in training — https://arxiv.org/abs/2605.13829 (2026-05-13)
- Ars Technica: LLMs believe false statements even after explicit warnings that they’re false — https://arstechnica.com/ai/2026/05/llms-believe-false-statements-even-after-explicit-warnings-that-theyre-false/ (2026-05-21)
- ACL Anthology (EMNLP 2023 paper): This is not a Dataset: A Large Negation Benchmark to Challenge Large Language Models — https://aclanthology.org/2023.emnlp-main.531/ (2023-12)
