首页/新闻/Google 的 Mueller 实测:只有 SEO 工具在请求 markdown 版页面

SEO & GEO

Google 的 Mueller 实测:只有 SEO 工具在请求 markdown 版页面

2026-08-31 Search Engine Journal SEO & GEO
Google 的 Mueller 实测:只有 SEO 工具在请求 markdown 版页面
图:Search Engine Journal

Reddit 上有人问「给 LLM 单独提供 markdown 文件到底有没有人用」,Google 的 John Mueller 分享了他在自己测试站上的观察:唯一声称接受 markdown 的爬虫来自 SEO 工具。

关键信息

  • 生效时间:无生效时间,这是个人实测观察,不是 Google 官方政策
  • 影响谁:正在考虑为 AI 爬虫单独生成 markdown 版本、或打算开 Cloudflare「Markdown for Agents」的站长
  • 要不要动:先别投入工程量。想验证的话,把服务器日志里的 accept 头打开记一周,看有没有真实 AI 爬虫来要

发生了什么

提问者的原意是:他本来就缓存 HTML,转成 markdown 再缓存一份成本不高,如果 AI 爬虫愿意要体积小三分之二的 markdown,或许能缓解爬虫把站点抓爆的问题。Mueller 的回答是他的测试站上只有 SEO 工具声称接受 markdown,并补充说他用的服务器默认不记录 accept 头,想看这个数据得手动配置日志——建议先把指标测出来再动手。Search Engine Journal 作者 Roger Montti 在文章里给出的判断是,专供 LLM 的 markdown 和当年的 keywords meta 标签是一个性质:生成式搜索厂商早就把 HTML 抓取解析做透了,没有动机去消费一份站长可以随意做手脚、和用户所见不一致的内容。需要说明的是,这是作者观点,不是 Google 的立场。另一边 Cloudflare 的判断相反,他们已经上线「Markdown for Agents」,对启用的 zone 通过 content negotiation 头在网络边缘实时把页面转成 markdown。

对独立站卖家意味着什么

这条的价值在于劝你别做无效功。过去几个月 llms.txt、markdown 镜像这类做法在 SEO 圈传得很广,很多独立站被说服要为此改一遍站点结构。Mueller 的观察至少说明一件事:需求侧的证据目前很弱,声称要 markdown 的主要是 SEO 工具自己。对卖家的具体建议是——如果你用 Cloudflare,「Markdown for Agents」是个开关,边缘转换不需要你改站,想开可以开,成本接近零;但如果方案是自己写脚本生成 markdown 镜像、维护两套内容、再做 content negotiation,那现在这笔工程投入没有数据支撑,先放着。真想知道自己站的情况,成本最低的验证是把服务器日志的 accept 头记录打开,跑一周看请求来源——数据比任何人的判断都值钱。反过来,把 HTML 本身做干净(结构化数据完整、正文不靠 JS 渲染、标题层级清楚)仍然是确定有效的部分,那才是该花时间的地方。

这些变化,需要有人替你盯着

我给独立站做 AI 自动运营:内容、SEO/GEO、产品上架、社媒,连同这类政策变化的跟进,一起自动化。

看看怎么做的