首页/新闻/robots.txt 拦不住 AI 爬虫:真要拦得靠 CDN 或 WAF 层

SEO & GEO

robots.txt 拦不住 AI 爬虫:真要拦得靠 CDN 或 WAF 层

2026-09-03 Search Engine Journal SEO & GEO
robots.txt 拦不住 AI 爬虫:真要拦得靠 CDN 或 WAF 层
图:Search Engine Journal

Search Engine Journal 刊出 Getty Images 的 SEO 负责人 Helen Pollitt 的技术解答:屏蔽 AI 爬虫有 robots.txt 和服务器栈两条路,两者的性质完全不同——前者是请求,后者才是执行。

关键信息

  • 生效时间:已生效,随时可配置
  • 影响谁:内容或商品图是核心资产、且已决定不让 AI 训练爬虫取用的站点
  • 要不要动:先想清楚要不要拦(拦了同时会失去 AI 搜索引用机会);决定拦的话,只写 robots.txt 基本等于没拦

发生了什么

文章拆解了两种做法。robots.txt 的写法和屏蔽任何爬虫一样,按 user-agent 名称写 disallow 规则,例如对 OpenAI 的 GPTBot 写 User-agent: GPTBot + Disallow: /,也可以只屏蔽某个目录如 /products/。但它依赖爬虫自愿遵守。服务器层拦截可以在服务器本身、CDN 或 WAF 上做:服务器读取请求的 IP、header 等信息后执行 deny / allow / redirect;CDN 在请求到达服务器前就拦下,省带宽,Cloudflare 等还提供按「搜索爬虫 / 智能体 / 训练用途」分类的预设开关;WAF 层审查最严,分析的是请求行为而不只是 header,因此能识别伪装成其他 user-agent 的爬虫。

对独立站卖家意味着什么

先说容易搞错的地方:屏蔽 AI 爬虫不是一个纯技术选择,而是一次取舍。同一批爬虫里,有的是拿数据做训练,有的是为 AI 搜索的实时引用取内容——OpenAI 的 GPTBot 和 OAI-SearchBot 就是两个不同的 user-agent。一刀切屏蔽的结果,往往是训练没少多少,AI 搜索里的品牌曝光先没了。对绝大多数靠内容获客的独立站,这不划算。

真正需要拦的是另一类情况:商品图被大规模抓走做素材、原创评测被整段复制、或者爬虫流量已经压到服务器成本。这时候要知道 robots.txt 只是一纸声明,不守规矩的爬虫照抓不误。如果你用 Cloudflare 这类 CDN,控制面板里已经有按爬虫类型分类的开关,打开成本很低,是性价比最高的一层;再往上到 WAF 的行为分析,通常是被持续伪装抓取困扰之后才值得投入。动手前建议先看一周的服务器日志,确认到底是谁在抓、抓走了什么,再决定拦哪一个——按名单盲拦很容易误伤给你带流量的那些。

这些变化,需要有人替你盯着

我给独立站做 AI 自动运营:内容、SEO/GEO、产品上架、社媒,连同这类政策变化的跟进,一起自动化。

看看怎么做的