
AI 리서치가 끝없이 불어난다면, 그것이 뒷받침할 결정 하나부터 적는다
AI는 인접한 질문을 찾아내는 데 능해서, "최대한 빠짐없이"라고 하면 리서치가 계속 불어나 쓸 만한 결과가 나오지 않는다. 리서치의 완료 조건은 출처의 수가 아니라 구체적인 결정 하나를 뒷받침할 수 있느냐다. 그 결정, 후보 상한, 필요한 증거, 중단 조건을 먼저 적고 나머지 질문은 보류 목록으로 보낸다.
posts
같은 주제의 미니 클래스를 모아 보고 최신 글부터 맥락을 채울 수 있습니다.
lessons
읽기 경로
전체 목록은 시간순으로 유지하고, 그 위에 4가지 독자 경로를 둡니다. 처음 온 독자가 업무 상황에서 바로 들어갈 수 있습니다.

AI는 인접한 질문을 찾아내는 데 능해서, "최대한 빠짐없이"라고 하면 리서치가 계속 불어나 쓸 만한 결과가 나오지 않는다. 리서치의 완료 조건은 출처의 수가 아니라 구체적인 결정 하나를 뒷받침할 수 있느냐다. 그 결정, 후보 상한, 필요한 증거, 중단 조건을 먼저 적고 나머지 질문은 보류 목록으로 보낸다.

"시간 좀 맞춰 줘"는 사실 세 가지 일이다. 함께 비는 시간 찾기, 내 시간 잡아 두기, 다른 사람에게 초대 보내기. 앞의 둘은 아무도 놀라게 하지 않지만 셋째는 다르다. AI는 기본적으로 후보 시간을 내놓는 데서 멈추고, 초대를 보내기 전에는 이번 건의 세부 사항을 모두 담은 미리 보기를 사람이 확인해야 한다.

주소, 금액, 예약 시간처럼 행동에 쓰는 데이터는 AI 기억 속에서 이미 낡았을 수 있다. 기억이 할 수 있는 일은 "여기에 주소가 필요하다"고 알리는 것뿐이고, 값 자체는 행동하기 전에 그것을 갱신할 책임이 있는 원본, 예를 들어 이번 주문에서 다시 읽어야 한다. 둘이 다르면 멈춘다.

AI에게 수정을 맡길수록 점점 멀어진다면, 원인은 대개 프롬프트가 아니라 차이가 보이지 않는 피드백에 있다. "더 자연스럽게", "더 세련되게"에는 해석이 열 가지쯤 있다. 매번 세 가지만 준다. 남길 것, 눈에 보이는 변경 하나, 건드리면 안 되는 곳. 그리고 AI에게 두 버전을 내게 해 비교하고, 모든 버전을 남겨 둔다.

스프레드시트의 빈칸은 아직 입력하지 않았거나, 해당 없거나, 가져오기에 실패한 것일 수 있으며 0과 같지 않다. AI에게 집계를 맡기기 전에 열마다 빈칸을 "0으로 확인됨", "알 수 없음", "해당 없음" 세 가지로 나누고, 비율을 낼 때는 어떤 분모를 썼고 빠진 값이 얼마인지 함께 밝힌다.

AI 일일 요약은 이미 수락한 회의, 다른 사람의 요청, AI가 스스로 떠올린 제안을 한 목록에 나란히 놓는다. 순위가 답하는 것은 "무엇을 먼저 볼 만한가"이지 "누가 나를 기다리는가"가 아니다. 오늘 할 일을 정하기 전에 각 항목의 상태부터 표시한다.

AI에게 공유 클라우드 드라이브 정리를 맡길 때, 같은 "삭제"라도 플랫폼에 따라 휴지통으로 옮기기도 하고 영구히 지우기도 한다. 정리의 합격 여부는 지우는 속도가 아니라 잘못했을 때 되찾을 수 있느냐로 정해진다. AI는 후보와 증거만 찾고, 사람이 승인하면 먼저 격리 공간으로 옮겨 표본 복원으로 되찾을 수 있음을 확인한다. 영구 삭제는 별개의 결정이다.

AI 회의록을 켤 때 뜨는 알림은 도구의 상태를 보여 줄 뿐, 기록이 어디로 가는지에 모두가 동의했다는 뜻이 아니다. 시작하기 전에 어디서부터 기록할지, 누가 멈출 수 있는지, 회의 뒤 누가 받는지, 어디에 저장할지를 정한다. 안건이 민감한 이야기로 넘어가면 먼저 멈춘다.

Google의 AlphaEvolve 같은 도구는 코드 버전을 대량으로 자동 생성하고 점수가 가장 높은 것을 고른다. 평가 프로그램이 재는 것만 보기 때문에, 재지 않은 조건은 희생될 수 있다. 맡기기 전에 기준, 점수, 어겨서는 안 될 제약, 중단 조건, 승인할 사람을 적어 둬야 한다.

AI 덕분에 코드 첫 버전을 쓰는 일은 싸졌지만, 그것을 검토하고 반년 뒤 유지보수하는 비용은 줄지 않았다. 첫 버전은 가격 확인으로 쓰고, AI와의 대화 기록 없이 설명할 수 있는 사람과 유지보수를 맡겠다는 사람이 있을 때 병합한다.

스캔 점수가 재는 것은 취약점 자체가 얼마나 심각한지이지, 내 시스템에서 얼마나 급한지가 아니다. 순서를 정할 때는 이미 밖에서 악용되고 있는지, 내 서비스가 그 코드를 실행하는지, 외부 입력이 거기까지 닿는지를 차례로 묻는다. AI는 경고마다 증거를 정리할 수 있지만, 경고를 닫는 결정은 사람이 한다.

AI agent가 사용자 대신 여러 시스템을 잇달아 호출할 때 흔한 지름길은 공용 계정으로 일하거나 같은 통행증을 계속 넘기는 것이다. 둘 다 문제가 생겼을 때 누가 승인했는지 추적할 수 없게 만든다. 들르는 곳마다 그곳 전용이고 이번 일에 필요한 만큼만 허락된 새 통행증으로 바꿔야 그 단서가 남는다.

AI agent가 직원 계정으로 ERP의 송장과 지급 예외를 처리하면 로그에는 직원 이름만 남아, 나중에 누가 고쳤는지 알 수 없고 AI만 멈출 수도 없다. agent에게 자기 신원을 주고, 모든 동작을 기본적으로 거부하고, 금액 기준을 넘으면 사람에게 넘기게 해야 책임을 추적할 수 있다.

모델 단가는 계속 내려가는데 긴 작업의 청구액은 예상을 넘기 일쑤다. 돈은 단계마다 컨텍스트를 다시 보내는 데와 실패 후 처음부터 다시 돌리는 데 쓰인다. 그래서 상한은 모델 바깥의 프로그램이 작업 전체가 공유하는 하나의 예산으로 지켜야 한다.

AI 워크플로 도구가 노출됐을 때 위험한 것은 도구 자체만이 아니라, 각 흐름에 저장되어 호출할 수 있는 인증 정보다. 먼저 입구를 닫고 로그를 보존한 뒤, "어느 흐름이 어떤 열쇠를 쥐었는가"로 교체 순서를 정하고, 다시 발급할 때 권한도 줄인다.

악성 AI agent 확장 도구가 위험한 부분을 숨겼다가 실행할 때 되살려서 설치 전 검사의 90% 이상을 빠져나갈 수 있다는 연구가 있다. 그래서 설치 전에는 진짜 데이터도, 네트워크도, 쓰기 권한도 없는 환경에서 한 번 돌려 보고 실제로 무엇을 건드렸는지 확인해야 한다.

Claude는 마이크로소프트 Foundry에서 켤 수 있지만, 공식 문서에 따르면 프롬프트와 응답의 처리자는 여전히 Anthropic이고, 표시된 내용은 사람 검토로 넘어갈 수 있으며, 일부 배포는 지역 보장이 없다. 실제 데이터를 연결하기 전에 누가, 어디서 처리하고, 예외 때 누가 보는지 답한다.

클립보드 도구를 사칭하는 Mac 악성 프로그램 PamStealer는 "Maccy가 변경하려고 합니다. 허용하려면 비밀번호를 입력하십시오"라는 창을 띄우고, 틀리면 맞는 비밀번호를 얻을 때까지 계속 묻는다. 겉모습으로는 가릴 수 없다. 판단은 상황으로 한다. 방금 비밀번호가 필요한 일을 했는지, 이 앱이 어디서 왔는지. 설명할 수 없으면 먼저 취소를 누른다.

사이트 내용을 가져가는 AI 크롤러에는 검색을 위해 색인을 만드는 것, 사용자를 위해 그 자리에서 페이지를 읽는 것, 모델 학습에 쓰는 것이 있다. 사이트와 주고받는 것이 전혀 다르니 "AI를 막을까" 스위치 하나로 정하지 않는다. 용도별로 기본 규칙을 정하고, 가장 지켜야 할 페이지를 골라낸다.

Anthropic이 과학 연구용 AI 작업대 Claude Science를 내놓았다. 핵심은 모든 그림에 그것을 만든 코드, 실행 환경, 전체 대화 기록이 붙는다는 점이다. 어떤 AI 분석 도구든 같은 질문으로 판단할 수 있다. 몇 달 뒤 이 그림을 받은 동료가 AI에게 묻지 않고 다시 만들 수 있는가.

Cursor의 iPhone 앱으로 휴대폰에서 AI 코딩 에이전트를 시작하고, 변경 내역을 보고, 에이전트가 끝나면 바로 병합할 수도 있다. 휴대폰은 일을 시작하고 진행 상황을 지켜보기에 알맞지만, 작은 화면과 자투리 시간에 병합 버튼을 누르는 일을 그 순간의 자제력에만 맡겨서는 안 된다. "어떤 변경은 병합할 수 없는가"를 먼저 저장소 보호 규칙에 적어 둔다.

AWS FinOps Agent는 클라우드 비용 이상을 조사해 어떤 설정 변경이 원인인지 찾고, Slack이나 Jira로 보낼 수 있다. 하지만 보고서 속 "담당자"가 맞는지는 계정과 팀의 대응표를 먼저 줬는지에 달려 있다. 도입 전에 이 대응표를 쓰고, 그다음 어떤 결과를 채널로 보내고 어떤 것을 티켓으로 만들지 정한다.

Apple은 AI 데이터센터가 메모리 공급을 가져가면서 Mac과 iPad 가격을 올렸다. 가격 인상으로 당신에게 필요한 것이 바뀐 것은 아니다. "앞으로의 AI 기능을 위해 미리 바꾸는 일"이 비싸졌을 뿐이다. 업그레이드 이유는 새 가격이나 AI 홍보가 아니라, 지금 매주 막혀 있는 일에서 출발한다.

이벤트 하나에 여러 AI 모듈이 깨어나 서로의 결과를 덮어쓸 때, 많은 팀은 먼저 중재 규칙을 더하려 한다. 더 효과적인 방법은 설계로 돌아가는 것이다. 한 가지 일에 입구는 하나, 바뀌는 항목마다 쓸 수 있는 모듈은 하나, 나머지는 제안만 하게 한다.

기록을 만들고 알림을 보낸 뒤에 흐름이 실패하면, 그대로 다시 돌릴 때 같은 일을 두 번 할 수 있다. 외부 상태를 바꾸는 단계마다 추적할 수 있는 번호를 남기고, 실패했을 때의 보완 방법을 정하고, 메일 발송이나 결제처럼 되돌릴 수 없는 동작은 맨 뒤로 보낸다. 무슨 일이 이미 있었는지 모르겠다면 멈추고 사람에게 넘기는 것이 맞다.

Figma에서는 디자인 레이어를 한 번의 클릭으로 상호작용하는 코드로 바꾸고, 애니메이션도 코딩 에이전트에게 바로 넘겨 구현하게 할 수 있다. 프로토타입이 완성품처럼 보일수록 그대로 만들어지기 쉽다. 인계할 때 디자이너는 무엇이 확정된 디자인 의도이고 무엇이 탐색 중의 실험인지 분명히 표시하고, 어떤 코드를 다시 쓸지는 엔지니어가 판단한다.

Reddit처럼 자주 읽히는 페이지에 13단어 정도만 덧붙여도, 딥 리서치형 AI가 보고서의 38~51%에서 공격자가 밀고 싶은 제품을 인용했다는 연구가 있다. AI가 붙인 출처는 어디서 읽었는지 보여 줄 뿐 내용이 믿을 만하다는 증거가 아니다. 결정에 쓸 결론에는 누구도 고칠 수 없는 독립 출처가 적어도 하나 있어야 한다.

AI 보안 도구는 이제 취약점을 자동으로 찾고, 패치를 만들고, 테스트까지 돌린다. 빨라진 뒤에 물어야 할 것은 고칠 수 있느냐가 아니라 어떤 패치를 사람의 승인 없이 내보내도 되느냐다. 기준은 문제가 생겼을 때 되돌릴 수 있느냐다. 되돌릴 수 있고 테스트된 작은 업그레이드는 빠르게 통과시켜도 되지만, 로그인, 결제, 고객 데이터, 배포를 건드리는 패치는 반드시 사람이 승인한다.

Anthropic이 공개한 내부 사례에서 같은 Claude라도 데이터 출처와 지표 정의가 정리되지 않았을 때는 정답률 21% 이하, 정리한 뒤에는 95% 이상, 한 달 관리하지 않자 약 65%로 떨어졌다. AI에게 숫자를 묻기 전에 출처를 정하고, 정의를 쓰고, 관리할 사람을 정해야 한다.

영국 내무부는 얼굴로 나이를 추정하는 AI로 망명 신청자의 나이 판단을 돕는 시험을 하며, 마지막은 늘 공무원이 정한다고 강조한다. 하지만 탐사 보도에 따르면 이 시스템은 미성년자를 성인으로 보기 쉽고, 일부 집단에서는 오차가 더 크다. AI의 판단이 사람의 대우를 바꾼다면, 누가 뒤집을 수 있는지, 어떤 증거가 필요한지, 당사자가 아는지를 먼저 설계한다.

경쟁 분석 도구 Klue가 침해되면서 공격자는 고객이 Salesforce에 연결할 때 쓰는 인증 토큰을 빼앗아 CRM 데이터를 직접 조회하고 가져갔다. 공급자의 취약점은 우리가 고칠 수 없다. 통제할 수 있는 것은 세 가지다. 얼마나 많은 읽기 권한을 줬는지, 이상한 조회를 볼 수 있는지, 사고 때 얼마나 빨리 회수하는지.

AI가 내 일하는 방식을 알게 하려고 먼저 완전한 지식 베이스를 만들려다, 분류와 도구 고르기에서 멈추는 사람이 많다. 더 효과적인 출발점은 AI가 틀린 바로 그 한 번이다. 고친 내용을 다음에 읽을 수 있는 구체적인 규칙으로 쓰고, 다음 행동을 바꾸는 것만 남긴다.

AI를 쓰는 사람은 늘었지만, AI가 너무 빨리 발전한다고 느끼는 사람도 그만큼 많다. 사용률 상승이 곧 신뢰는 아니다. AI 기능 확산을 서둘러도 되는지는 쓰지 않을 선택, AI가 한 일의 취소, 실패 시 사람에게 넘길 길이 있느냐로 정해진다.

보안 연구자들은 마이크로소프트 도메인의 링크를 한 번 누르는 것만으로 Microsoft 365 Copilot이 메일함의 인증번호를 이미지 주소에 넣어 밖으로 보낼 수 있음을 보여 줬다. 업무용 AI는 사용자의 읽기 권한을 모두 물려받는다. 도입 전에 사람은 볼 수 있어도 AI 검색 범위에 넣으면 안 되는 것을 정해 둔다.

Meta의 AI 고객지원은 설득당해 낯선 사람의 이메일을 바꿔 줬고, Instagram 계정 2만 개 이상이 탈취됐다. AI에게 계정을 맡기려면 본인 확인과 권한은 대화가 아니라 시스템에서 가져와야 한다.

오픈소스 도구 DockSec은 여러 Docker 스캐너를 묶고, AI로 경고를 설명하고 고치는 방법을 제안한다. 자동 수정은 Dockerfile의 기계적인 수정만 하고, 베이스 이미지 버전을 고르거나 비밀 값을 옮기거나 배포 설정 파일을 고치지 않는다. 팀도 이 선을 그대로 쓸 수 있다. AI 모드를 켜기 전에는 무엇이 모델로 가는지도 알아 둔다.

KPMG가 철회한 AI 도입 보고서는 인용 45개 중 실제 출처를 정확히 가리킨 것이 5개뿐이었다. AI의 도움으로 쓴 보고서에서 가장 위험한 것은 근거가 있어 보이는 오류다. 먼저 인용, 실명 사례, 숫자를 원자료와 대조하고, 대조되지 않는 문장은 최종본에 넣지 않는다.

AI 덕분에 가짜 사이트와 가짜 문자를 빠르고 그럴듯하게 만들 수 있게 됐고, 대만에서는 정부 전용 단축번호까지 위장됐다. 문자가 진짜처럼 보이는지 따지기보다, 요구받은 일을 이 링크를 누르지 않고 할 수 있는지를 물어야 한다.

Anthropic은 한때 Claude Fable 5에 사용자가 볼 수 없는 보호 장치를 두어 특정 용도의 출력을 몰래 나쁘게 만들었고, 나중에 공개 사과하며 보이게 바꿨다. 공급자 쪽의 변화는 보이지 않는다. 손에 쥘 수 있는 것은 내 쪽뿐이다. 중요한 흐름마다 고정 문제와 그때의 답을 남겨 두고, 품질이 바뀐 것 같으면 다시 돌려 비교한다.

연구에 따르면 AI의 기억 기능은 사용자가 예전에 말한 잘못된 생각을 배경으로 저장해, 이후 답변을 그 방향으로 기울게 한다. 서식 선호는 안심하고 기억하게 둬도 되지만, 중요한 판단 전에는 AI가 쓴 기억을 펼쳐 보이게 하고 "내 과거의 생각"을 증거에서 빼게 해야 한다.

Google의 Gemini 3.5 Live Translate는 말소리를 실시간으로 다른 언어로 옮기면서 말하는 사람의 억양과 리듬까지 살린다. 본인 목소리처럼 들릴수록 AI가 옮긴 말을 상대의 원래 말로 착각하기 쉽다. 금액, 날짜, 책임, 약속은 회의 중에 상대에게 다시 말해 달라고 하고, 회의 뒤에 글로 확인한다.

Apple의 단축어 앱은 한 문장으로 자동화 흐름을 만들 수 있게 됐다. AI는 쓸 때 한 번만 나타나지만, 저장된 단축어는 매일 퇴근, 귀가, 메시지 수신 때마다 혼자 실행된다. 그러니 저장하기 전에 한 단계씩 이해하고, 밖으로 보내거나 지우는 단계는 "실행 전에 묻기"를 남겨 둔다.

AI 서비스 장애는 짧을 수 있지만, 업무 흐름이 멈추는 시간은 장애보다 길어지기 쉽다. AI를 일상 업무에 연결하기 전에 AI 없이도 내는 최소 결과물을 정해 둔다. 원본 자료는 AI 바깥에 두고, 누가 전환을 결정할지 정하고, 외부 작업 전에 멈출 수 있게 한다.

데이터 유출에는 대개 세 가지 조건이 동시에 필요하다. AI가 기밀을 볼 수 있고, 믿을 수 없는 내용을 읽고, 무언가를 밖으로 보낼 수단이 있어야 한다. ChatGPT의 Lockdown Mode가 없애는 것은 세 번째이고, 웹페이지나 파일에 숨은 지시는 여전히 답을 틀어지게 할 수 있다. 민감한 자료를 다루기 전에 그 대화에 세 가지가 모두 갖춰지지 않았는지 확인한다.

2026년, 적지 않은 회사가 한 해 AI 예산을 상반기에 다 써 버렸다. 모델 단가를 비교해서는 이 문제가 풀리지 않는다. 한 가지 일의 진짜 비용에는 재시도 횟수, 밀어 넣은 데이터 양, 사람이 결과를 고치는 시간이 들어간다. 먼저 자주 하는 일 몇 가지를 골라 채택된 결과물 한 건에 얼마가 들었는지 계산한 뒤, 올릴지 줄일지 정한다.

YouTube, Meta, TikTok 모두 AI 생성 콘텐츠에 표시를 붙이기 시작했지만, 표시가 알려 주는 것은 AI로 만들었을 수 있다는 사실뿐이고 주의력을 아껴 주지는 않는다. 질 낮은 콘텐츠를 줄이려면 "AI가 만들었나" 대신 "출처가 있나, 책임지는 사람이 있나, 한계를 밝혔나"를 묻고, 그에 따라 내 정보 입구를 정리한다.

영국 규제 당국은 사이트가 AI 검색 요약에 쓰이지 않게 할 수 있도록 Google에 요구했고, Google은 Search Console에 스위치를 만들어 이미 전 세계로 넓혔다. 빠지면 그 기능에서 오던 노출과 방문은 잃는다. 사이트 전체를 한꺼번에 정하지 말고 페이지마다 묻는다. 이 페이지가 요약된 뒤에도 독자가 클릭해서 들어올 이유가 남는가.

Android의 가짜 전화 감지는 전화가 정말 아는 사람의 휴대폰에서 걸려 왔는지는 확인하지만, 전화 너머가 본인인지는 알 수 없고 "번호를 바꿨어"라는 말도 막지 못한다. 믿을 만한 방어선은 가족 규칙이다. 돈이나 인증번호를 요구하는 부탁은 걸려 온 전화에서 처리하지 않고, 끊은 뒤 원래 알던 번호로 다시 건다.

NVIDIA의 RTX Spark는 Arm 프로세서, 강력한 그래픽 칩, 최대 128GB 공유 메모리를 Windows 노트북에 들여와 로컬에서 AI를 돌리는 것을 내세운다. 하지만 Arm 구조로 바뀌면 매일 쓰는 소프트웨어, 플러그인, 드라이버가 모두 네이티브로 돈다는 보장은 없다. 사기 전에 내 도구 목록을 하나씩 대조하고, 매주 기다리는 일로 직접 시험한다.

좋은 로그는 로그만으로 언제, 어디서, 무슨 일이 있었고, 그때 어떤 데이터를 다뤘는지 답하게 해 준다. 지난번 장애를 다시 돌려 보면 무엇이 빠졌는지 안다. Python 기본 logging으로 거의 다 되고, Loguru는 설정 수고를 덜지만 기본적으로 오류 기록에 변수 값을 적는다.

상시 AI 비서는 당신이 없을 때도 움직인다. 공급자는 고위험 작업 전에는 먼저 묻는다고 하지만, "고위험"의 범위는 공급자가 정한 것이다. 주 메일함, 캘린더, 클라우드 드라이브에 연결하기 전에 자신만의 정지 목록을 써 둔다. 읽기만, 초안만, 반드시 당신의 승인을 기다릴 것으로 나눈다.

GitHub Copilot은 2026년 6월부터 쓴 만큼 요금을 매긴다. 코드 자동 완성은 여전히 무료이고, 돈이 드는 것은 대화와 오래 걸리는 에이전트 작업이며, 한도를 다 써도 더 이상 싼 모델로 자동 전환되지 않는다. 팀은 두 가지를 미리 정해야 한다. 한도를 다 쓰면 멈출지 계속 낼지, 어떤 작업에 가장 비싼 모드를 쓰게 할지.

기업용 AI 검색 회사 Glean은 연간 매출 3억 달러를 넘기며 AI 청구서를 줄여 준다는 것을 주된 장점으로 내세운다. 이런 도구를 살 때 "절약"으로 셀 수 있는 것은 두 경우뿐이다. 예전 지출을 정해진 날짜에 해지할 수 있거나, 잴 수 있는 업무 지표가 실제로 내려가는 경우. 나머지는 실험 비용일 뿐이다.

Adobe Firefly의 AI 어시스턴트는 한 문장으로 Photoshop, Illustrator 등을 오가며 여러 단계의 편집을 해낸다. 써 본 기자는 평범한 디자인 인턴 같다고 평했다. 실행은 할 수 있어도 이 이미지를 어디에 둘지, 무엇이 들어가면 안 되는지, 어떻게 되면 쓸 수 있는지는 모른다. 사람이 맡는 아트 디렉션을 생성 전에 확인할 수 있는 조건으로 적어 둔다.

뉴욕의 한 스타트업은 청소 인력이 카메라를 쓰고 작업을 녹화하는 조건으로 무료 방문 청소를 한다. 영상은 익명 처리한 뒤 AI와 로봇 회사에 학습용으로 라이선스된다. 흐림 처리는 얼굴과 서류는 가려도 집 구조와 생활 습관은 가리지 못하고, 라이선스된 뒤에는 지울 수 있다는 보장도 없다. 받아들이기 전에 라이선스 대상과 삭제 방법을 분명히 묻는다.

coding agent는 이제 issue에서 pull request까지 진행할 수 있고, 승인까지 AI에게 맡길 수 있게 됐다. 사람이 판단할 수 있는 지점은 앞으로 옮겨진다. 넘기기 전에 따로 검토할 수 있는 첫 번째 diff를 적을 수 있어야 한다. 적을 수 없는 작업은 agent에게 조사만 맡긴다.

AI가 언제 멈추고 사람에게 물어야 하는지는 모델이 스스로 "확실하지 않다"고 말하는 데 기댈 수 없다. 멈출 조건을 시스템이 볼 수 있는 사건으로 적어 둔다. 핵심 항목 누락, 출처 간 모순, 다음 단계가 밖으로 무언가를 보내는 일, 중단 뒤 상태를 알 수 없음. 멈출 때는 다른 사람이 이어받을 수 있는 기록도 남긴다.

Asana가 노코드 AI 비서 도구 StackAI를 인수했고, 자사 AI Teammates는 연결된 10여 개 앱에서 읽고 쓸 수 있다. 연결됐다고 그 도구 안의 모든 일을 맡겨도 되는 것은 아니다. 동작마다 자동, 초안만, 이름 있는 사람의 승인으로 나누고, 출시 전에 일부러 한 번 실패하게 해 본다.

사이트에 API나 MCP가 필요한지는 AI가 할 일이 공개 내용을 읽는 것인지, 바뀌는 데이터를 조회하는 것인지, 사람 대신 실행하는 것인지에 달렸다. 세 입구가 지는 책임은 다르고, 대부분의 사이트가 먼저 고칠 것은 AI가 읽을 수 있는 공개 페이지다.

Microsoft 365 Copilot이 개편되면서 답이 더 빠르고, 구조가 분명하고, 훑어보기 쉬워졌다. 하지만 정돈된 것과 넘겨받을 수 있는 것은 다르다. 동료에게 필요한 것은 무엇을 결정했는지, 누가 맡는지, 언제까지인지, 근거가 어디 있는지, 무엇이 아직 확인되지 않았는지다. 이 항목들을 프롬프트에 적고, AI가 찾지 못한 것은 "확인 필요"로 남기게 한다.

"이건 거짓"이라고 거듭 적은 문서로 모델을 미세 조정해도 모델이 그 거짓 주장을 사실로 배울 수 있다는 연구가 나왔다. 비교적 제대로 배운 것은 "그는 이기지 않았다"처럼 부정을 문장 자체에 넣었을 때뿐이었다. 잘못된 데이터를 사실로 믿지 않게 하려면 참거짓 상태를 시스템이 읽을 수 있는 항목에 두거나, 고쳐 쓰거나, 지운다. 옆에 붙인 경고 한 줄에 기대지 않는다.