AI crawler를 사이트에 들여보낼까? 이 표로 3분 만에 결정하기

먼저 구분하기: AI crawler는 한 가지가 아니다

crawler는 “웹사이트 콘텐츠를 자동으로 읽는 프로그램”으로 이해하면 된다. 예전에는 주로 검색엔진 bot을 상대했을 것이다. 검색 bot은 페이지를 가져가 색인을 만들고, 나중에 독자를 다시 당신의 사이트로 데려온다.

AI crawler가 까다로운 이유는 용도가 갈라지기 시작했기 때문이다.

• 검색형 crawler: 당신의 콘텐츠가 AI 검색이나 요약 결과에 나타나게 하는 것이 목적이다.
• agent형 crawler: agent는 “몇 단계의 작업을 스스로 이어서 수행하는 AI 도우미”로 이해하면 된다. 사용자를 대신해 실시간으로 페이지를 읽고, 가격을 비교하고, 사양을 확인하고, 답변을 정리할 수 있다.
• 학습형 crawler: 콘텐츠를 모델 학습이나 데이터셋에 넣는 것이 목적이다. 반드시 식별 가능한 독자 트래픽을 되돌려주는 것은 아니다.

이 세 가지 트래픽은 사이트에 주는 가치와 위험이 다르다. 전부를 하나의 규칙으로 묶으면 두 가지 나쁜 결과가 생긴다. 들어와야 할 검색 노출은 막히고, 라이선스나 속도 제한을 논의해야 할 학습 접근은 조용히 통과된다.

BMC에서는 이전에 agentic web에는 기계가 읽을 수 있는 입구와 검수 기준이 필요하다고 다룬 적이 있다. 사이트가 입구 규칙을 명확히 써두지 않으면 AI 도구는 추측으로 움직일 수밖에 없다. 이 글은 〈agent를 사이트에 들이기 전, 기계가 읽을 수 있는 문부터 준비하기〉와 함께 보면 좋다. 앞 글이 “누구를 문 안으로 들일 것인가”를 다룬다면, 이 글은 “들어온 뒤 어떤 용도로 볼 것인가”를 다룬다.

텍스트 결정 트리로 한 번 돌려보기

아직 crawler 정책이 없는 팀이라면 아래 순서대로 진행하면 된다. 처음부터 완전한 규정을 쓸 필요는 없다.

1. 이 crawler가 용도를 명확히 설명하는가?

   • 그렇다: 다음 질문으로 간다.
   • 아니다: 상대가 용도, 연락처, opt-out 방법을 제공할 때까지 관찰 또는 차단 목록에 넣는다.

2. 용도가 검색인가, agent의 실시간 읽기인가, 학습인가?

   • 검색: 실제로 식별 가능한 트래픽을 되돌려주는지 확인한다.
   • agent: 공개 데이터만 읽는지, 로그인, 양식, 거래를 건드리지 않는지 확인한다.
   • 학습: 콘텐츠 라이선스와 상업적 교환이 성립하는지 확인한다.

3. 측정 가능한 비용을 일으키는가?

   • 예: 일일 요청량이 평소 bot 평균의 2배를 넘는다. 오류율이 증가한다. 캐시 적중률이 떨어진다. 검색 페이지가 대량으로 스캔된다.
   • 비용이 있다: 속도 제한, 과금, API, 수동 심사로 바꾼다.
   • 비용이 없다: 우선 관찰로 두되, 30일 뒤 다시 보도록 설정한다.

4. 고가치 콘텐츠에 닿는가?

   • 예: 유료 글, 회원 자료, 원천 연구, 제품 데이터베이스, 강의 콘텐츠, 가격 또는 재고 페이지.
   • 그렇다: 학습과 대량 읽기는 기본적으로 무료 개방하지 않는다.
   • 아니다: 더 느슨한 정책을 쓸 수 있지만 log는 남긴다.

5. 이 규칙에 owner가 있는가?

   • owner는 마지막 판단과 마무리를 책임지는 사람이다. owner가 없는 정책은 곧 아무도 관리하지 않는 차단 목록이 된다.
   • 최소한 콘텐츠 owner 1명, 기술 owner 1명을 지정하고 언제 재평가할지 적는다.

이 결정 트리의 사용법은 단순하다. 급하게 “전면 허용”이나 “전면 차단”을 먼저 고르지 않는다. crawler를 올바른 상황에 넣은 뒤, 허용, 관찰, 과금, 차단을 결정한다.

흔한 실수: 모든 AI 트래픽을 하나의 스위치에 넣기

가장 문제가 되기 쉬운 방식은 관리자 화면에서 “AI crawler”를 보고 하나의 전체 스위치를 켜는 것이다. 그러면 서로 다른 세 문제가 뒤섞인다.

• 노출 문제: AI 검색에서 발견되고 싶은가?
• 작업 문제: agent가 페이지를 읽고, 데이터를 조회하고, 사용자를 대신해 절차를 밟게 할 수 있는가?
• 라이선스 문제: 내 콘텐츠가 학습이나 데이터셋 구축에 쓰여도 되는가?

이 세 질문의 답은 완전히 다를 수 있다. 검색형 crawler가 공개 글을 읽는 것은 허용할 수 있다. 독자를 데려올 가능성이 있기 때문이다. agent가 FAQ를 읽는 것도 허용할 수 있지만, 회원 구역에 로그인하거나 양식을 제출하게 해서는 안 될 수 있다. 동시에 학습형 crawler에는 먼저 라이선스를 논의하라고 요구할 수 있다.

사이트가 이미 AI 콘텐츠 잡음을 처리하고 있다면 〈정보 입구와 출처 규칙으로 AI 콘텐츠 잡음 처리하기〉도 참고할 수 있다. 입구 규칙과 crawler 정책은 한 쌍이다. 전자는 어떤 콘텐츠를 받아들일지 정하고, 후자는 당신의 콘텐츠가 기계에 의해 어떻게 사용될지 정한다.

오늘 바로 할 수 있는 첫 단계

오늘 한 가지만 할 수 있다면 완전한 도구 목록부터 쫓지 말자. 먼저 문서를 하나 열고 이름을 “AI crawler access policy v0.1”로 붙인 뒤, 네 단락을 적는다.

1. 검색 색인: 우리가 검색 색인형 crawler를 허용하는 조건.
2. agent 경계: 우리가 agent 실시간 읽기를 허용하는 경계.
3. 학습 라이선스: 학습형 crawler에 대한 우리의 기본 라이선스 입장.
4. 고가치 경로: 어떤 경로가 고가치 콘텐츠라서 추가 심사가 필요한지.

그다음 owner와 30일 회고 날짜를 지정한다. 이 문서는 짧아도 된다. 하지만 이후 기술 설정의 근거가 된다. robots.txt, Bot 관리, WAF, API key, 유료 벽, 계약 조항은 모두 이 정책을 서로 다른 층에서 실행하는 방식일 뿐이다.

정말 까다로운 문제는 Cloudflare나 특정 플랫폼 하나가 규칙을 어떻게 바꾸느냐가 아니다. 콘텐츠 사이트가 그동안 “읽을 수 있음”과 “기계가 가져가도 됨”을 같은 것으로 취급해왔다는 점이다. 지금 보완해야 할 것은 오래 유지할 수 있는 접근 정책이다.

AI 정리 카드

아래 문단을 AI에 넘겨 첫 번째 crawler 정책을 만들게 할 수 있다. 사용하기 전에 괄호 안 내용을 당신의 사이트 정보로 바꿔라.

당신은 콘텐츠 사이트의 기술 및 콘텐츠 정책 컨설턴트입니다. 아래 정보를 바탕으로 “AI crawler access policy v0.1” 초안을 작성해 주세요.

사이트 유형: [예: 소규모 미디어, 지식베이스, 강의 사이트, 제품 문서, 데이터베이스]
고가치 콘텐츠 경로: [URL path를 나열하세요. 예: /members/, /courses/, /research/]
현재 알고 있는 AI crawler: [이름, User-Agent, 트래픽 개요를 적으세요. 모르면 알 수 없음이라고 쓰세요]
우리가 얻고 싶은 보상: [검색 노출, referral, 라이선스 비용, API 사용, 협력 데이터]
우리가 가장 걱정하는 위험: [서버 비용, 콘텐츠 대체, 학습 사용, 회원 콘텐츠 유출, 양식 남용]

출력해 주세요:
1. 검색 색인형 crawler의 허용 조건.
2. agent 실시간 읽기형 crawler의 허용 및 금지 행동.
3. 학습 또는 데이터셋형 crawler에 대한 라이선스 입장.
4. 먼저 차단하거나 수동 심사해야 하는 신호.
5. 30일 뒤 다시 봐야 할 5개 지표.

제한:
- 추상 원칙만 쓰지 말고, 각 항목에 실행 가능한 조건을 넣어 주세요.
- 공개 열람과 자동화된 대량 수집을 구분해 주세요.
- 정보가 부족하다면 사이트 owner에게 추가로 물어야 할 질문을 나열해 주세요.

이 정리 카드의 목적은 법률 판단을 대신하는 것이 아니다. 콘텐츠, 엔지니어링, 비즈니스 사이에 흩어져 있던 문제를 먼저 같은 목록에 올려놓는 것이다. 목록이 만들어져야 무엇은 도구로 막아야 하는지, 무엇은 라이선스로 논의해야 하는지, 무엇은 안심하고 열어도 되는지 알 수 있다.