首页/新闻/Common Crawl 查了 50 万份 llms.txt:多数是模板,还有人拿它当 robots.txt 用

SEO & GEO

Common Crawl 查了 50 万份 llms.txt:多数是模板,还有人拿它当 robots.txt 用

2026-09-08 Search Engine Journal SEO & GEO
Common Crawl 查了 50 万份 llms.txt:多数是模板,还有人拿它当 robots.txt 用
图:Search Engine Journal

Common Crawl 分析了 2026 年 7 月抓取存档中超过 50 万份 llms.txt 文件,结论不太好看:多数网站只是让插件生成了一个模板文件,内容空洞,还有一部分把它当成 robots.txt 在用,写上「屏蔽某某爬虫」这类根本不具约束力的规则。

关键信息

  • 生效时间:这不是政策变更,是一份基于 2026 年 7 月抓取存档的数据分析
  • 影响谁:装了 SEO 插件后自动生成 llms.txt、以为它能挡 AI 爬虫的站长
  • 要不要动:去看一眼自己的 llms.txt 是不是空模板;真要控制爬虫,改 robots.txt

发生了什么

几个数字说明问题:68% 的文件源自插件或模板,22.56% 完全没有链接,只有 49% 具备完整结构。Wix 生成的占了全部样本的 41%。All in One SEO 插件产出的 73,000 份文件从不写摘要,链接数中位数 138 条。

更值得注意的是另外两组数据。136,578 份文件在 llms.txt 这个路径下实际返回的是 robots.txt 的内容,约占全部 1,287,207 个正常响应的 10%。另有 1,570 份文件指名提到了特定爬虫,其中 32 份看起来在拒绝 Common Crawl 自己的爬虫 CCBot,但逐一核对后发现,没有任何一份在 robots.txt 里真正屏蔽了它。报告里还有一个案例:某网站的 llms.txt 写明「自 2026 年 6 月起屏蔽 CCBot」,它的 robots.txt 却通过通配符规则允许该爬虫抓取,两个文件已经完全脱节。

Common Crawl 在报告里把话说得很直白:这个文件「不授予任何权限,也不阻挡任何东西,没有任何爬虫有义务读取它」。报告还发现少量提示注入案例,4 份文件确认是真实的,其中 1 份直接指示模型忽略先前指令去抓取另一个文件。

对独立站卖家意味着什么

先说最要紧的一条:如果你以为站点根目录那个 llms.txt 能替你挡住不想要的 AI 爬虫,那是误会。它没有强制力,爬虫读不读随意。真正被遵守的一直是 robots.txt,两者内容打架时以 robots.txt 为准。想控制内容被谁抓,去改 robots.txt,别在 llms.txt 上写规则。

再说另一半。多数站点的 llms.txt 是装插件时顺手生成的空壳,既没有精选链接也没有摘要,对 AI 引用没有任何帮助。它的设计用途本来是给模型指路,告诉它你站上哪几页最值得读。想让它真有用,得手工填:挑出你最想被引用的十几个页面,每条配一句话说明这页讲什么。留着默认的 138 条链接、一句摘要都没有的版本,等于没做。

顺带一提,6 月有另一份基于 Ahrefs 数据的报道说,97% 的 llms.txt 文件从未被请求过。所以这件事的优先级不高,别为它挤掉更要紧的工作。花十分钟确认自己那份不是在误导自己,就够了。

这些变化,需要有人替你盯着

我给独立站做 AI 自动运营:内容、SEO/GEO、产品上架、社媒,连同这类政策变化的跟进,一起自动化。

看看怎么做的