태그 안내

모델 안전성

이 태그는 같은 세부 주제의 미니 클래스를 모읍니다. 최신 글부터 읽고, 카테고리와 관련 글로 맥락을 이어갈 수 있습니다.

따뜻한 손그림풍의 위에서 내려다본 장면으로, 사람과 작은 로봇이 나무 작업대에서 종이를 분류한다. 왼쪽 나무 쟁반 곁에는 구겨진 빨간 종이가 있고, 오른쪽 투명 칸막이 뒤에는 미색과 청록색 종이가 따로 쌓여 있다.
개발과 기술

잘못된 데이터 옆에 "이건 거짓"이라고 적기만 하면, AI는 그래도 사실로 믿을 수 있다

"이건 거짓"이라고 거듭 적은 문서로 모델을 미세 조정해도 모델이 그 거짓 주장을 사실로 배울 수 있다는 연구가 나왔다. 비교적 제대로 배운 것은 "그는 이기지 않았다"처럼 부정을 문장 자체에 넣었을 때뿐이었다. 잘못된 데이터를 사실로 믿지 않게 하려면 참거짓 상태를 시스템이 읽을 수 있는 항목에 두거나, 고쳐 쓰거나, 지운다. 옆에 붙인 경고 한 줄에 기대지 않는다.

약 5분 읽기 ·