標籤導讀

內容政策

這個標籤收集同一個細主題下的微課。先看最新文章,再用分類與延伸閱讀補齊上下文。

內容網站管理者在白板上把 AI crawler 分成搜尋、代理與訓練三種存取規則
開發與技術

網站要不要擋 AI 爬蟲,先看它來做什麼

來網站抓內容的 AI 爬蟲,有的替搜尋建索引,有的替使用者即時讀頁面,有的把內容拿去訓練模型。三種用途和網站交換的東西完全不同,不該用一個「擋或不擋 AI」的開關決定。先依用途訂預設規則,再挑出最需要保護的頁面。

約 5 分鐘 ·