Search Engine Journal 刊出 Getty Images 的 SEO 负责人 Helen Pollitt 的技术解答:屏蔽 AI 爬虫有 robots.txt 和服务器栈两条路,两者的性质完全不同——前者是请求,后者才是执行。
关键信息
- 生效时间:已生效,随时可配置
- 影响谁:内容或商品图是核心资产、且已决定不让 AI 训练爬虫取用的站点
- 要不要动:先想清楚要不要拦(拦了同时会失去 AI 搜索引用机会);决定拦的话,只写 robots.txt 基本等于没拦
发生了什么
文章拆解了两种做法。robots.txt 的写法和屏蔽任何爬虫一样,按 user-agent 名称写 disallow 规则,例如对 OpenAI 的 GPTBot 写 User-agent: GPTBot + Disallow: /,也可以只屏蔽某个目录如 /products/。但它依赖爬虫自愿遵守。服务器层拦截可以在服务器本身、CDN 或 WAF 上做:服务器读取请求的 IP、header 等信息后执行 deny / allow / redirect;CDN 在请求到达服务器前就拦下,省带宽,Cloudflare 等还提供按「搜索爬虫 / 智能体 / 训练用途」分类的预设开关;WAF 层审查最严,分析的是请求行为而不只是 header,因此能识别伪装成其他 user-agent 的爬虫。
对独立站卖家意味着什么
先说容易搞错的地方:屏蔽 AI 爬虫不是一个纯技术选择,而是一次取舍。同一批爬虫里,有的是拿数据做训练,有的是为 AI 搜索的实时引用取内容——OpenAI 的 GPTBot 和 OAI-SearchBot 就是两个不同的 user-agent。一刀切屏蔽的结果,往往是训练没少多少,AI 搜索里的品牌曝光先没了。对绝大多数靠内容获客的独立站,这不划算。
真正需要拦的是另一类情况:商品图被大规模抓走做素材、原创评测被整段复制、或者爬虫流量已经压到服务器成本。这时候要知道 robots.txt 只是一纸声明,不守规矩的爬虫照抓不误。如果你用 Cloudflare 这类 CDN,控制面板里已经有按爬虫类型分类的开关,打开成本很低,是性价比最高的一层;再往上到 WAF 的行为分析,通常是被持续伪装抓取困扰之后才值得投入。动手前建议先看一周的服务器日志,确认到底是谁在抓、抓走了什么,再决定拦哪一个——按名单盲拦很容易误伤给你带流量的那些。