AI 크롤러를 막을지는 그것이 무엇을 하러 왔느냐로 정한다

Cloudflare는 AI 크롤러를 세 가지 용도로 나눴다

2026년 7월 1일, 인터넷 서비스 기업 Cloudflare는 기존의 “AI 봇 차단"이라는 스위치 하나를, 사이트가 직접 설정할 수 있는 세 가지 분류로 나눴다.

• 검색(Search): 사이트 내용을 모아 색인을 만들고, 나중에 질문에 답하는 데 쓴다. 전통적인 검색엔진과 가장 비슷하고, 원칙적으로는 독자를 사이트로 데려온다.
• 에이전트(Agent): 어떤 사람을 위해 그 자리에서 움직인다. 챗봇이 대화 도중 페이지를 읽거나, 사용자를 대신해 브라우저를 조작하는 경우다. 반대편에는 대개 답을 기다리는 사람이 있다.
• 학습(Training): 내용을 모델 학습이나 미세 조정에 쓴다. Cloudflare의 표현으로는 이 데이터가 모델 안에 영구히 흡수된다.

Cloudflare는 함께, 2026년 9월 15일부터 새로 들어오는 도메인은 광고를 보여 주는 페이지에서 에이전트와 학습 용도를 기본으로 차단하고, 검색은 기본으로 허용한 채 두겠다고 발표했다. 광고가 있는 페이지가 원하는 것은 사람의 관심이고, 사람을 다시 데려올 가능성이 가장 큰 것은 검색이라는 이유다. TechCrunch 보도에 따르면, Cloudflare가 크롤링 횟수마다 요금을 매기던 방식도 콘텐츠가 만들어 내는 가치에 따라 요금을 매기는 방식으로 바뀐다.

이 분류가 모든 사이트에 맞지는 않는다. 하지만 “막을까 말까"보다 더 쓸모 있는 질문을 준다. 이 크롤러는 무엇을 하러 왔고, 사이트는 그 대가로 무엇을 얻는가.

가장 가치 있는 페이지부터 지킨다

처음부터 완전한 규정을 쓸 필요는 없다. 사이트에서 가장 가치 있거나 대량으로 가져가기 쉬운 페이지를 적어 본다. 회원 전용 내용, 유료 강좌, 가격, 독자적인 연구, 그리고 사이트 내 검색이나 필터처럼 프로그램이 반복해서 조회할 수 있는 입구다. 허용하는 용도라 해도 이런 페이지에는 추가 제한을 걸 만하다.

다음으로 규칙을 실제로 작동하는 곳에 둔다. Cloudflare 스스로도 설명하듯, 사이트 루트에 두어 크롤러에게 어디를 가져가도 되는지 알리는 robots.txt와 새로 생긴 콘텐츠 이용 항목은 사이트의 희망을 밝힐 뿐, 그 자체로는 어떤 접근도 막지 않는다. 실제로 제한하려면 방화벽이나 봇 관리 도구가 트래픽 특징에 따라 속도를 낮추거나 차단해야 한다. 에이전트가 많은 데이터를 조회해야 한다면 페이지를 긁어 가게 두기보다 인증과 속도 제한이 있는 API를 마련하는 편이 관리하기 쉽다. 학습 용도와 유료 내용은 결국 계약과 라이선스로 다뤄야 하고, 기술적 규칙은 보조일 뿐이다.

AI 정리 카드

AI 크롤러 접근 방침 초안을 AI와 함께 쓰기 이 프롬프트는 먼저 사이트의 내용과 현재 상황을 묻고, 검색, 에이전트, 학습 세 가지 용도별 기본 판단을 정한 뒤, 추가로 지켜야 할 페이지와 실행 방법을 표시한다.

내 웹사이트의 AI 크롤러 접근 방침 초안을 쓰고 싶다.
판단 방법은 이 글에서 가져왔다: https://boosterminiclass.com/ko/posts/ai-crawler-access-policy-checklist/
글의 관점은 이렇다. "AI를 막을지 말지" 스위치 하나로 정하지 않는다. AI 크롤러에는 세 가지 용도가 있다. 검색(노출과의 거래), 에이전트의 실시간 읽기(비용과 권한 문제를 가져옴), 학습(라이선스 문제)이며, 기본 판단은 각각 달라야 한다. robots.txt는 희망을 밝힐 뿐이고, 실제 제한은 방화벽, API 속도 제한, 계약으로 한다.

먼저 나에게 질문 3개를 해 달라:
1. 사이트의 콘텐츠는 어떤 종류이고, 어느 것이 공개이며 어느 것이 회원 전용이나 유료인가;
2. 지금 어떤 AI 크롤러가 가져가고 있는 것이 보이며, 각각 요청량은 대략 얼마인가(모르면 모른다고 답함);
3. 콘텐츠 라이선스는 누가 정하고, 사이트의 기술 설정은 누가 관리하는가.

내 답을 바탕으로 다음을 출력해 달라:
- 세 가지 용도 각각의 기본 판단(허용 / 관찰 또는 속도 제한 / 라이선스나 요금 요구 / 차단 중 하나)과 이유;
- 추가로 지켜야 할 가치 있는 페이지 목록;
- 각 규칙을 robots.txt, 방화벽이나 봇 관리, API 속도 제한, 계약 중 무엇으로 실행할지;
- 매달 확인할 숫자.
정보가 부족한 곳은 "확인 필요"로 표시하고 추측하지 말 것. 마지막으로, 방침은 사이트 책임자가 정한다는 점을 상기시켜 줄 것.

방침은 출발점일 뿐이다. 어떤 내용을 AI가 쓰게 할지는 결국 사이트 책임자가 정한다.