OpenAI 將遵守 robots.txt 共通訊號,網站可一次過向多間 AI 供應商表態

OpenAI 推出 robots.txt 共通訊號,網站一次設定多間 AI 供應商同步生效

OpenAI 於 10 月 30 日宣布,將遵守 robots.txt 內一個共通訊號,讓網站營運者一次向多間參與的 AI 供應商表達同一項內容使用偏好[1]。公司表示會在未來數個月落實訊號,並在落實時再公開細節[1]。

過去要逐間供應商牆護規則

在現行做法下,網站營運者需要識別個別 AI 公司的 crawler,並為每一間供應商分別擬寫與護衛規則[1]。當供應商數目增加,同一意願要在多份設定中重複表達,出錯與遺漏的機會亦隨之上升。

共通訊號的目的,是把這項重複工作濃縮為一次表達:營運者在 robots.txt 寫明偏好,多間參與的供應商即可同一方式讀取。OpenAI 稱這是自願性質的努力,並引薦其他 AI 供應商同樣遵守訊號[1]。

與現有 crawler 控制並存

OpenAI 明確指出,新訊號不會取代公司現時透過 robots.txt 提供的控制[1]。現有的 crawler 控制將繼續適用並獲尊重,網站營運者原有的設定不會因為新訊號而失效[1]。

這一點對依賴既有規則的出版商相當重要:新機制是銳加而非取代,營運者可按需要同時使用兩套設定,而不必擔心某次更新後被默默忽略。

訊號源自 IETF 工作組的草擬

OpenAI 表示,今次決定建基於互聯網工程任務組(IETF)AI Preferences 工作組的持續工作,公司與工作組其他參與者一同在當日公佈這個共通訊號,並認可這加強了其在 IETF 標準討論中的參與[1]。

相關技術文件目前仍處草擬階段。以工作組文件所引用的訊號草擬為例,諮詢文件為個人提交的 Internet-Draft,2026 年 10 月 30 日更新,文件開首即明言未獲 IETF 背書,在 IETF 標準程序中並無正式地位[2]。反之,共通訊號現在是多方自願採用的安排,而非已完成的正式標準。

自願機制的實際限制

對新聞機構與內容網站而言,共通訊號的好處是降低行政成本:不必再追蹤每間公司新增的 crawler 名單,也不必為每個新供應商撰寫條款。但機制的效力,取決於有多少供應商願意讀取並遵守。目前公開確認遵守的,只有 OpenAI 一方,其他參與者的名單與實際時間表仍待公佈[1]。

另一項變數是實際方式。OpenAI 表示會在未來數個月落實,屆時才交代細節;在這之前,營運者無法確定訊號的優先次序、衝突處理,以及與現有 crawper 規則不一致時以何者為準[1]。

對香港的媒體與內容平台而言,較務實的做法,是在自家 robots.txt 同步保留既有的逐間封鎖規則與新的共通訊號,待各供應商實作情況明朗後再作簡化。共通訊號降低了表達成本,但距離「一次設定、全網通行」仍有距離。

參考資料

[1] Making it easier for websites to express AI training preferences(2026年10月30日)

[2] Machine-Readable Training Preference Signal(2026年10月30日)

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

*