Google、OpenAI、Anthropic與微軟達成共識，一行程式碼禁止AI爬文訓練、保留搜尋曝光與SEO流量 - Mashdigi
- 來源: mashdigi.com
- 分類: SEO
- Published: 2026-11-01T02:51:44+08:00
- Source: https://mashdigi.com/usage-ai-training-robots-txt-google-openai-seo/
主要內容摘要
1. 草案由Kelley提交IETF，強調相容RFC 9309、零語法破壞
2. 一行標記取代GPTBot、ClaudeBot等逐廠擋爬清單
3. 大型站曾因多組Disallow觸及robots.txt容量上限，新語法可緩解
為何成為話題
媒體怕擋錯爬蟲連搜尋曝光一起沒了，一行禁訓指令讓授權與流量可分開處理，影響出版業營收與訓練資料取得成本。
三個爭議點
1. robots.txt本屬自願遵守，草案能否變成可執行法律義務仍不明
2. 禁訓後AI摘要還能否引用原文，文中只保證搜尋索引、未保證引用權
3. 通用User-Agent把四家綁在同一開關，站長難以對單一廠商差別授權