개발과 기술
AI 크롤러를 막을지는 그것이 무엇을 하러 왔느냐로 정한다
사이트 내용을 가져가는 AI 크롤러에는 검색을 위해 색인을 만드는 것, 사용자를 위해 그 자리에서 페이지를 읽는 것, 모델 학습에 쓰는 것이 있다. 사이트와 주고받는 것이 전혀 다르니 "AI를 막을까" 스위치 하나로 정하지 않는다. 용도별로 기본 규칙을 정하고, 가장 지켜야 할 페이지를 골라낸다.
tag
콘텐츠 정책
같은 주제의 미니 클래스를 모아 보고 최신 글부터 맥락을 채울 수 있습니다.
1
lessons
태그 안내
콘텐츠 정책
이 태그는 같은 세부 주제의 미니 클래스를 모읍니다. 최신 글부터 읽고, 카테고리와 관련 글로 맥락을 이어갈 수 있습니다.