Search Engine Journal 在 9 月 5 日的 SEO Pulse 栏目里汇总了 Google 的 John Mueller 本周的几条回应,其中两条针对当下流传的技术做法:为 AI 爬虫单独提供 markdown 版本,以及给 sitemap 子文件挂每日变化的参数、逼搜索引擎重新抓取。
关键信息
- 生效时间:不是规则变更,是 Google 员工的公开表态,即时可参考
- 影响谁:正在为 AI 爬虫做适配的自建站;以及从大站抄过 sitemap「加速抓取」写法的人
- 要不要动:sitemap 里若有每日变化的参数,去掉并把 lastmod 写准;markdown 层先别做,先在服务器日志里打开 Accept 头看有没有 AI 爬虫真的在要
发生了什么
有人在 r/TechSEO 提问,是否见过主流 AI 爬虫主动请求 markdown 格式,理由是想借此降低服务器负载。Mueller 回答说,在他自己的测试站点上,「唯一声称接受 markdown 的爬虫是 SEO 工具」。他补充自己的服务器默认不记录 Accept 请求头,建议想验证的人先把日志打开再看数据,并以一句「Ymmv」(你的情况可能不同)收尾。
另一条来自 Bluesky:有人在一个大站上看到,sitemap index 里的子 sitemap URL 每天都被挂上一个新参数,用来强制搜索引擎重新抓取。Mueller 称这是「坏主意,因为你在告诉搜索引擎某段内容的规范 URL 一直在变」,既影响搜索引擎也影响你自己的数据追踪,而 sitemap 协议里的 lastmod 字段本来就是用来告诉爬虫文件何时变更的。
对独立站卖家意味着什么
第二条建议立刻检查。不少 WordPress / Shopify 的 SEO 插件,或者外包做的「抓取加速」配置,会在 sitemap 上挂动态参数,装完之后就再没人看过。这类参数不会让你被处罚,但会把 URL 稳定性这个最基础的信号搞乱,也会让 Search Console 里的抓取数据变得难以解释。花五分钟打开你的 sitemap index 看一眼,有 ?v= 或类似每天变化的后缀就删掉,然后确认 lastmod 写的是真实最后修改时间,而不是每天自动刷新的当天日期。
第一条是省钱提醒。现在有不少方案在推「给 AI 爬虫准备一份 markdown 内容」,但 Mueller 的样本里请求 markdown 的全是 SEO 工具,不是 AI 爬虫。他自己也强调这只是他的站点、你的日志可能不同——所以正确动作既不是照做也不是无视,而是先在服务器上记录 Accept 请求头,跑一两周看谁真的在要 text/markdown。没有请求量,就别为它专门搭一套内容管线。