Cloudflare 官方文件確認，由2026年9月15日起，新網域的預設設定將改為：被歸類為「Training」（訓練）或「Agent」（代理）的機械人，在顯示廣告的頁面上一律封鎖，而「Search」（搜尋）爬蟲則繼續放行。[1]
新預設的具體內容
根據 Cloudflare 文件，更新後的預設安排如下：[1]
- 被歸類為 Training 或 Agent 的機械人，在顯示廣告的頁面上被封鎖
- Search 類別維持允許
- 混合用途（同時用於 Search 與 Training）的爬蟲，亦會被所有「封鎖 AI 訓練」設定擋住，包括舊有的「Block AI bots」選項
Cloudflare 把 AI 相關行為分為三類：Search 指收集或索引內容以供日後回答問題的爬蟲；Agent 指即時代表某人行動的自動化活動，例如聊天抓取機械人及瀏覽器使用代理；Training 指取用內容以訓練或微調模型的爬蟲，包括同時用於訓練與搜尋的混合用途爬蟲。每個封鎖選項均提供三種處理方式：全站封鎖（Block on all pages）、僅在顯示廣告的頁面封鎖（Block on pages with ads），以及允許（不封鎖）。
過渡安排
文件指出，在9月15日之前，所有客戶都可以選擇退出這些新預設；客戶可透過 Cloudflare 儀表板的「Security Settings」，進入「Configure AI bot policies」設定這些政策。原有的「Block AI bots」設定將於2026年9月15日棄用（deprecating），但仍保留讓客戶設定對混合用途爬蟲的偏好。
對網站主的實際影響
對依賴抓取公開網頁建立檢索增強生成（RAG）系統或代理瀏覽功能的開發者而言，需要重新檢查工具所使用的 user-agent 分類與 robots 設定；對網站主而言，則要在「讓 AI 讀取內容」與「保住廣告收入」之間作出取捨。值得注意的是，今次改動只針對新網域的預設值，並以「顯示廣告的頁面」為封鎖範圍，這意味着以內容變現為主的網站，日後更可能需要主動調整設定，才能在 AI 可見度與廣告收益之間取得平衡。