
AI 크롤러를 막을지는 그것이 무엇을 하러 왔느냐로 정한다
사이트 내용을 가져가는 AI 크롤러에는 검색을 위해 색인을 만드는 것, 사용자를 위해 그 자리에서 페이지를 읽는 것, 모델 학습에 쓰는 것이 있다. 사이트와 주고받는 것이 전혀 다르니 "AI를 막을까" 스위치 하나로 정하지 않는다. 용도별로 기본 규칙을 정하고, 가장 지켜야 할 페이지를 골라낸다.
tag
같은 주제의 미니 클래스를 모아 보고 최신 글부터 맥락을 채울 수 있습니다.
lessons
태그 안내
이 태그는 같은 세부 주제의 미니 클래스를 모읍니다. 최신 글부터 읽고, 카테고리와 관련 글로 맥락을 이어갈 수 있습니다.

사이트 내용을 가져가는 AI 크롤러에는 검색을 위해 색인을 만드는 것, 사용자를 위해 그 자리에서 페이지를 읽는 것, 모델 학습에 쓰는 것이 있다. 사이트와 주고받는 것이 전혀 다르니 "AI를 막을까" 스위치 하나로 정하지 않는다. 용도별로 기본 규칙을 정하고, 가장 지켜야 할 페이지를 골라낸다.

이벤트 하나에 여러 AI 모듈이 깨어나 서로의 결과를 덮어쓸 때, 많은 팀은 먼저 중재 규칙을 더하려 한다. 더 효과적인 방법은 설계로 돌아가는 것이다. 한 가지 일에 입구는 하나, 바뀌는 항목마다 쓸 수 있는 모듈은 하나, 나머지는 제안만 하게 한다.

기록을 만들고 알림을 보낸 뒤에 흐름이 실패하면, 그대로 다시 돌릴 때 같은 일을 두 번 할 수 있다. 외부 상태를 바꾸는 단계마다 추적할 수 있는 번호를 남기고, 실패했을 때의 보완 방법을 정하고, 메일 발송이나 결제처럼 되돌릴 수 없는 동작은 맨 뒤로 보낸다. 무슨 일이 이미 있었는지 모르겠다면 멈추고 사람에게 넘기는 것이 맞다.

경쟁 분석 도구 Klue가 침해되면서 공격자는 고객이 Salesforce에 연결할 때 쓰는 인증 토큰을 빼앗아 CRM 데이터를 직접 조회하고 가져갔다. 공급자의 취약점은 우리가 고칠 수 없다. 통제할 수 있는 것은 세 가지다. 얼마나 많은 읽기 권한을 줬는지, 이상한 조회를 볼 수 있는지, 사고 때 얼마나 빨리 회수하는지.

Apple의 단축어 앱은 한 문장으로 자동화 흐름을 만들 수 있게 됐다. AI는 쓸 때 한 번만 나타나지만, 저장된 단축어는 매일 퇴근, 귀가, 메시지 수신 때마다 혼자 실행된다. 그러니 저장하기 전에 한 단계씩 이해하고, 밖으로 보내거나 지우는 단계는 "실행 전에 묻기"를 남겨 둔다.

사이트에 API나 MCP가 필요한지는 AI가 할 일이 공개 내용을 읽는 것인지, 바뀌는 데이터를 조회하는 것인지, 사람 대신 실행하는 것인지에 달렸다. 세 입구가 지는 책임은 다르고, 대부분의 사이트가 먼저 고칠 것은 AI가 읽을 수 있는 공개 페이지다.