
AI 수정이 계속 맴도는 이유는 "좀 더 세련되게"를 비교할 수 없어서다
AI에게 수정을 맡길수록 점점 멀어진다면, 원인은 대개 프롬프트가 아니라 차이가 보이지 않는 피드백에 있다. "더 자연스럽게", "더 세련되게"에는 해석이 열 가지쯤 있다. 매번 세 가지만 준다. 남길 것, 눈에 보이는 변경 하나, 건드리면 안 되는 곳. 그리고 AI에게 두 버전을 내게 해 비교하고, 모든 버전을 남겨 둔다.
tag
같은 주제의 미니 클래스를 모아 보고 최신 글부터 맥락을 채울 수 있습니다.
lessons
태그 안내
이 태그는 같은 세부 주제의 미니 클래스를 모읍니다. 최신 글부터 읽고, 카테고리와 관련 글로 맥락을 이어갈 수 있습니다.

AI에게 수정을 맡길수록 점점 멀어진다면, 원인은 대개 프롬프트가 아니라 차이가 보이지 않는 피드백에 있다. "더 자연스럽게", "더 세련되게"에는 해석이 열 가지쯤 있다. 매번 세 가지만 준다. 남길 것, 눈에 보이는 변경 하나, 건드리면 안 되는 곳. 그리고 AI에게 두 버전을 내게 해 비교하고, 모든 버전을 남겨 둔다.

스프레드시트의 빈칸은 아직 입력하지 않았거나, 해당 없거나, 가져오기에 실패한 것일 수 있으며 0과 같지 않다. AI에게 집계를 맡기기 전에 열마다 빈칸을 "0으로 확인됨", "알 수 없음", "해당 없음" 세 가지로 나누고, 비율을 낼 때는 어떤 분모를 썼고 빠진 값이 얼마인지 함께 밝힌다.

Google의 AlphaEvolve 같은 도구는 코드 버전을 대량으로 자동 생성하고 점수가 가장 높은 것을 고른다. 평가 프로그램이 재는 것만 보기 때문에, 재지 않은 조건은 희생될 수 있다. 맡기기 전에 기준, 점수, 어겨서는 안 될 제약, 중단 조건, 승인할 사람을 적어 둬야 한다.

AI 덕분에 코드 첫 버전을 쓰는 일은 싸졌지만, 그것을 검토하고 반년 뒤 유지보수하는 비용은 줄지 않았다. 첫 버전은 가격 확인으로 쓰고, AI와의 대화 기록 없이 설명할 수 있는 사람과 유지보수를 맡겠다는 사람이 있을 때 병합한다.

스캔 점수가 재는 것은 취약점 자체가 얼마나 심각한지이지, 내 시스템에서 얼마나 급한지가 아니다. 순서를 정할 때는 이미 밖에서 악용되고 있는지, 내 서비스가 그 코드를 실행하는지, 외부 입력이 거기까지 닿는지를 차례로 묻는다. AI는 경고마다 증거를 정리할 수 있지만, 경고를 닫는 결정은 사람이 한다.

모델 단가는 계속 내려가는데 긴 작업의 청구액은 예상을 넘기 일쑤다. 돈은 단계마다 컨텍스트를 다시 보내는 데와 실패 후 처음부터 다시 돌리는 데 쓰인다. 그래서 상한은 모델 바깥의 프로그램이 작업 전체가 공유하는 하나의 예산으로 지켜야 한다.

AI 워크플로 도구가 노출됐을 때 위험한 것은 도구 자체만이 아니라, 각 흐름에 저장되어 호출할 수 있는 인증 정보다. 먼저 입구를 닫고 로그를 보존한 뒤, "어느 흐름이 어떤 열쇠를 쥐었는가"로 교체 순서를 정하고, 다시 발급할 때 권한도 줄인다.

클립보드 도구를 사칭하는 Mac 악성 프로그램 PamStealer는 "Maccy가 변경하려고 합니다. 허용하려면 비밀번호를 입력하십시오"라는 창을 띄우고, 틀리면 맞는 비밀번호를 얻을 때까지 계속 묻는다. 겉모습으로는 가릴 수 없다. 판단은 상황으로 한다. 방금 비밀번호가 필요한 일을 했는지, 이 앱이 어디서 왔는지. 설명할 수 없으면 먼저 취소를 누른다.

사이트 내용을 가져가는 AI 크롤러에는 검색을 위해 색인을 만드는 것, 사용자를 위해 그 자리에서 페이지를 읽는 것, 모델 학습에 쓰는 것이 있다. 사이트와 주고받는 것이 전혀 다르니 "AI를 막을까" 스위치 하나로 정하지 않는다. 용도별로 기본 규칙을 정하고, 가장 지켜야 할 페이지를 골라낸다.

Anthropic이 과학 연구용 AI 작업대 Claude Science를 내놓았다. 핵심은 모든 그림에 그것을 만든 코드, 실행 환경, 전체 대화 기록이 붙는다는 점이다. 어떤 AI 분석 도구든 같은 질문으로 판단할 수 있다. 몇 달 뒤 이 그림을 받은 동료가 AI에게 묻지 않고 다시 만들 수 있는가.

Cursor의 iPhone 앱으로 휴대폰에서 AI 코딩 에이전트를 시작하고, 변경 내역을 보고, 에이전트가 끝나면 바로 병합할 수도 있다. 휴대폰은 일을 시작하고 진행 상황을 지켜보기에 알맞지만, 작은 화면과 자투리 시간에 병합 버튼을 누르는 일을 그 순간의 자제력에만 맡겨서는 안 된다. "어떤 변경은 병합할 수 없는가"를 먼저 저장소 보호 규칙에 적어 둔다.

AWS FinOps Agent는 클라우드 비용 이상을 조사해 어떤 설정 변경이 원인인지 찾고, Slack이나 Jira로 보낼 수 있다. 하지만 보고서 속 "담당자"가 맞는지는 계정과 팀의 대응표를 먼저 줬는지에 달려 있다. 도입 전에 이 대응표를 쓰고, 그다음 어떤 결과를 채널로 보내고 어떤 것을 티켓으로 만들지 정한다.

Apple은 AI 데이터센터가 메모리 공급을 가져가면서 Mac과 iPad 가격을 올렸다. 가격 인상으로 당신에게 필요한 것이 바뀐 것은 아니다. "앞으로의 AI 기능을 위해 미리 바꾸는 일"이 비싸졌을 뿐이다. 업그레이드 이유는 새 가격이나 AI 홍보가 아니라, 지금 매주 막혀 있는 일에서 출발한다.

Android의 가짜 전화 감지는 전화가 정말 아는 사람의 휴대폰에서 걸려 왔는지는 확인하지만, 전화 너머가 본인인지는 알 수 없고 "번호를 바꿨어"라는 말도 막지 못한다. 믿을 만한 방어선은 가족 규칙이다. 돈이나 인증번호를 요구하는 부탁은 걸려 온 전화에서 처리하지 않고, 끊은 뒤 원래 알던 번호로 다시 건다.

NVIDIA의 RTX Spark는 Arm 프로세서, 강력한 그래픽 칩, 최대 128GB 공유 메모리를 Windows 노트북에 들여와 로컬에서 AI를 돌리는 것을 내세운다. 하지만 Arm 구조로 바뀌면 매일 쓰는 소프트웨어, 플러그인, 드라이버가 모두 네이티브로 돈다는 보장은 없다. 사기 전에 내 도구 목록을 하나씩 대조하고, 매주 기다리는 일로 직접 시험한다.

좋은 로그는 로그만으로 언제, 어디서, 무슨 일이 있었고, 그때 어떤 데이터를 다뤘는지 답하게 해 준다. 지난번 장애를 다시 돌려 보면 무엇이 빠졌는지 안다. Python 기본 logging으로 거의 다 되고, Loguru는 설정 수고를 덜지만 기본적으로 오류 기록에 변수 값을 적는다.