
AI가 주소를 기억한다고 지금 바로 그리로 보내도 되는 것은 아니다
주소, 금액, 예약 시간처럼 행동에 쓰는 데이터는 AI 기억 속에서 이미 낡았을 수 있다. 기억이 할 수 있는 일은 "여기에 주소가 필요하다"고 알리는 것뿐이고, 값 자체는 행동하기 전에 그것을 갱신할 책임이 있는 원본, 예를 들어 이번 주문에서 다시 읽어야 한다. 둘이 다르면 멈춘다.
tag
같은 주제의 미니 클래스를 모아 보고 최신 글부터 맥락을 채울 수 있습니다.
lessons
태그 안내
AI 서비스를 편리하다는 이유로 쓰기 전에 데이터, 동의, 보관, 철회 권리를 확인합니다.

주소, 금액, 예약 시간처럼 행동에 쓰는 데이터는 AI 기억 속에서 이미 낡았을 수 있다. 기억이 할 수 있는 일은 "여기에 주소가 필요하다"고 알리는 것뿐이고, 값 자체는 행동하기 전에 그것을 갱신할 책임이 있는 원본, 예를 들어 이번 주문에서 다시 읽어야 한다. 둘이 다르면 멈춘다.

AI 회의록을 켤 때 뜨는 알림은 도구의 상태를 보여 줄 뿐, 기록이 어디로 가는지에 모두가 동의했다는 뜻이 아니다. 시작하기 전에 어디서부터 기록할지, 누가 멈출 수 있는지, 회의 뒤 누가 받는지, 어디에 저장할지를 정한다. 안건이 민감한 이야기로 넘어가면 먼저 멈춘다.

영국 내무부는 얼굴로 나이를 추정하는 AI로 망명 신청자의 나이 판단을 돕는 시험을 하며, 마지막은 늘 공무원이 정한다고 강조한다. 하지만 탐사 보도에 따르면 이 시스템은 미성년자를 성인으로 보기 쉽고, 일부 집단에서는 오차가 더 크다. AI의 판단이 사람의 대우를 바꾼다면, 누가 뒤집을 수 있는지, 어떤 증거가 필요한지, 당사자가 아는지를 먼저 설계한다.

경쟁 분석 도구 Klue가 침해되면서 공격자는 고객이 Salesforce에 연결할 때 쓰는 인증 토큰을 빼앗아 CRM 데이터를 직접 조회하고 가져갔다. 공급자의 취약점은 우리가 고칠 수 없다. 통제할 수 있는 것은 세 가지다. 얼마나 많은 읽기 권한을 줬는지, 이상한 조회를 볼 수 있는지, 사고 때 얼마나 빨리 회수하는지.

Android의 가짜 전화 감지는 전화가 정말 아는 사람의 휴대폰에서 걸려 왔는지는 확인하지만, 전화 너머가 본인인지는 알 수 없고 "번호를 바꿨어"라는 말도 막지 못한다. 믿을 만한 방어선은 가족 규칙이다. 돈이나 인증번호를 요구하는 부탁은 걸려 온 전화에서 처리하지 않고, 끊은 뒤 원래 알던 번호로 다시 건다.

상시 AI 비서는 당신이 없을 때도 움직인다. 공급자는 고위험 작업 전에는 먼저 묻는다고 하지만, "고위험"의 범위는 공급자가 정한 것이다. 주 메일함, 캘린더, 클라우드 드라이브에 연결하기 전에 자신만의 정지 목록을 써 둔다. 읽기만, 초안만, 반드시 당신의 승인을 기다릴 것으로 나눈다.

뉴욕의 한 스타트업은 청소 인력이 카메라를 쓰고 작업을 녹화하는 조건으로 무료 방문 청소를 한다. 영상은 익명 처리한 뒤 AI와 로봇 회사에 학습용으로 라이선스된다. 흐림 처리는 얼굴과 서류는 가려도 집 구조와 생활 습관은 가리지 못하고, 라이선스된 뒤에는 지울 수 있다는 보장도 없다. 받아들이기 전에 라이선스 대상과 삭제 방법을 분명히 묻는다.