網站要不要擋 AI 爬蟲，先看它來做什麼

Cloudflare 把 AI 爬蟲拆成三種用途

2026 年 7 月 1 日，網路服務商 Cloudflare 把原本單一的「封鎖 AI 機器人」開關，改成依用途分成三類讓網站自己設定：

• 搜尋（Search）： 收集、建立網站內容的索引，之後用來回答問題。它和傳統搜尋引擎最像，理論上會把讀者帶回網站。
• 代理（Agent）： 替某個人即時行動，例如聊天機器人在對話中去讀一個網頁，或替使用者操作瀏覽器。另一端通常有個人在等答案。
• 訓練（Training）： 把內容拿去訓練或微調模型。Cloudflare 的說法是，這些資料會被永久吸收進模型裡。

Cloudflare 同時宣布，自 2026 年 9 月 15 日起，新加入的網域在顯示廣告的頁面上，預設封鎖代理與訓練用途，搜尋仍預設允許。理由是，有廣告的頁面要的是人的注意力，而搜尋最有可能把人帶回來。TechCrunch 報導也提到，Cloudflare 原本按次收費的爬取機制，會改成依內容產生的價值計費。

這套分類不一定適用於每個網站，但它提供了一個比「擋或不擋」更有用的問法：這個爬蟲來做什麼，網站換到了什麼？

先保護最有價值的頁面

不需要一開始就寫完整的規章。先列出網站裡最有價值、或最容易被大量取用的頁面：會員內容、付費課程、定價、原創研究，以及站內搜尋、篩選這類可以被程式反覆查詢的入口。這些頁面即使在「允許」的用途下，也值得加上額外的限制。

接著，把規則放到能真正執行的地方。Cloudflare 自己也說明，放在網站根目錄、告訴爬蟲哪些地方可以抓的 robots.txt，以及它新增的內容使用欄位，都只是表達網站的偏好，本身不會擋下任何存取。要真的限制，得靠防火牆或機器人管理工具依流量特徵限速、封鎖；如果代理需要大量查詢資料，提供有身分驗證和頻率限制的 API 會比讓它爬網頁好管理。至於訓練用途和付費內容，最終要靠合約和授權處理，技術規則只是輔助。

AI 整理卡

請 AI 幫你起草一份 AI 爬蟲存取政策 這段提示詞會先問清楚網站的內容和現況，再依搜尋、代理、訓練三種用途訂預設決定，最後標出需要額外保護的頁面與執行方式。

我想替自己的網站起草一份 AI 爬蟲存取政策。
判斷方法來自這篇文章：https://boosterminiclass.com/posts/ai-crawler-access-policy-checklist/
文章的看法是：不要用一個「擋或不擋 AI」的開關決定。AI 爬蟲有三種用途：搜尋（換曝光）、代理即時讀取（帶來成本與權限問題）、訓練（是授權問題），預設決定應該不同。robots.txt 只表達偏好，真正的限制要靠防火牆、API 限流或合約。

請先問我 3 個問題：
1. 網站的內容類型，哪些是公開、哪些是會員或付費內容；
2. 目前看得到哪些 AI 爬蟲在抓取，各自的請求量大概多少（不知道就說不知道）；
3. 誰負責決定內容授權，誰負責網站的技術設定。

根據我的回答，請輸出：
- 三種用途各自的預設決定（只能是：允許／觀察或限流／要求授權或收費／封鎖）與理由；
- 需要額外保護的高價值頁面清單；
- 每條規則該由 robots.txt、防火牆或機器人管理、API 限流，還是合約來執行；
- 每月要回頭檢查的數字。
資訊不足的地方標「待確認」，不要自己推測。最後提醒我，政策由網站負責人決定。

政策只是起點，哪些內容願意讓 AI 使用，最終由網站負責人決定。