llms.txt 真的有用吗?2026 年数据给出的答案

摘要

2026 年的证据已经齐了:对文档密集型网站,llms.txt 是廉价的保险,但 Google 无视它、AI 爬虫几乎不请求它,它也不是一个排名杠杆。

GAGEOly AI SEOGEOly AI SEO 团队
2026/08/24
11 分钟阅读
更新于 2026/10/26
目录

如果过去两年你在 GEO 或 AI SEO 社区里待过,这套说辞你一定见过:给网站加一个 llms.txt 文件,ChatGPT、Perplexity、Gemini 这些 AI 引擎就能更好地理解你的内容、更多地引用你、给你带来更多流量。

这个想法很诱人——一个小小的 Markdown 文件,就是通往 AI 可见度的捷径。到 2026 年年中,我们终于有了足够的硬数据来诚实回答这个问题:llms.txt 到底有没有用?

简短的答案是:作为发现或排名机制,没用——服务器日志的数据相当残酷。作为文档密集型网站和 AI 编程助手的低成本便利层,它有一点适度但真实的用途。本文将梳理正反两方面的证据,附上你可以自行核查的信源,最后讲清真正能撬动 AI 可见度的是什么。

要点速览

  • Google 已公开表态无视 llms.txt。 Google 搜索不将其用于抓取、索引或排名,John Mueller 把它比作早已死去的 keywords meta 标签(Search Engine Land)。
  • AI 爬虫几乎不请求这个文件。 一项对 5.15 亿次 LLM 机器人事件的分析发现,指向 /llms.txt 的请求只有 408 次(Limy);Ahrefs 发现 97% 的 llms.txt 文件在一个月内收到的请求为零(Ahrefs)。
  • 没有任何研究测出添加该文件带来的排名或引用效果。采用率真实存在但很浅——按样本不同大约在 8–10%。
  • 结论:廉价的保险,不是杠杆。 如果你运营文档密集或面向开发者的网站,就发一个(一个小时的事,Anthropic 自己也发布了一个),但把真正的精力花在引用、实体一致性和可提取的内容上。

llms.txt 是什么——以及不是什么

llms.txt 提案由 Answer.AI 联合创始人、fast.ai 创建者 Jeremy Howard 于 2024 年 9 月发布。规范托管在 llmstxt.org,思路很简单:在根域名的 /llms.txt 位置放一个 Markdown 文件,为大语言模型提供一份人工策划、token 高效的重要内容地图——一个标题、一段简短摘要,以及按类别组织的、指向关键页面纯净 Markdown 版本的链接列表。

这个逻辑本身是成立的。LLM 的上下文窗口有限,而解析一个现代网页——导航、Cookie 横幅、JavaScript、广告——既昂贵又有损。一份人工策划的 Markdown 索引理论上能解决这个问题,就像 sitemap 解决 URL 发现一样。

但三个误解把这个文件吹成了它从未被设计成的东西:

  • llms.txt 不是 robots.txt。 Robots.txt 是一个有几十年事实执行力的排除协议——它告诉爬虫什么不可以访问,主流爬虫都会遵守。llms.txt 正相反:它是一份没有任何强制力的邀请,没有任何主流 AI 实验室承诺会读它。如果你的目标是控制 AI 训练访问,战场在 robots.txt 里针对 GPTBot、ClaudeBot 和 Google-Extended 的指令——不在这里。
  • 它不是收录保证。 发布 llms.txt 不会让 ChatGPT 或 Gemini 摄取、偏好或引用你的内容。没有任何 AI 引擎的公开管线把这个文件当作输入。
  • 它不是排名信号。 迄今没有任何公开研究测出"拥有该文件"与"更多出现在 AI 回答中"之间的关系。

定义厘清了,来看两年布道之后实际发生了什么。

采用情况:增长真实,渗透很浅

采用率相对增速很快,绝对规模仍然很小。对头部 1,000 个网站的追踪发现,截至 2026 年 6 月有 8.7% 发布了 llms.txt 文件,比一年前大幅上升。更大样本的 SE Ranking 对约 30 万个域名的分析测得 2026 年 5 月的采用率为 10.13%;另一项对头部 10,000 个站点的独立抓取显示,有效文件从 2025 年 7 月的约 1% 增长到 2026 年 6 月的 5.6%。

所以这不是一个胎死腹中的规范。真实的团队——尤其集中在开发者工具、SaaS 和文档平台——确实在上线这个文件。问题在于消费端有没有人来取。数据在这里开始变冷。

支持 llms.txt 的证据

公平起见,支持它的理由立在三条腿上:

1. 成本几乎为零。 llms.txt 就是一个静态 Markdown 文档。对于文档组织良好的网站,手动生成一个只需一小时,用工具则只需几分钟——Mintlify、Docusaurus 插件和各种 CMS 扩展都能自动生成。

2. 文档与 Agent 生态确实在用它。 这是最扎实的真实用例。当开发者在 Cursor 或 Claude Code 中想把某产品的 API 文档载入上下文时,llms.txt 是一个干净、token 高效的入口。Anthropic 曾要求 Mintlify 为其官方文档实现 llms.txt 和 llms-full.txt,Anthropic 的文档至今仍提供完整的 Markdown 地图。这是对这一格式在特定任务上的有分量背书:按需把文档喂给编程助手。FastHTML、Zapier、Cloudflare 以及一长串开发者平台出于同样的原因发布了它。

3. 为可能的转变买一份未来保险。 如果代理式浏览持续增长——由 AI Agent 而非人类点击来在网站上完成任务——一份机器可读的内容地图可能变得更有价值。这是推测,但持有这个期权几乎不花钱。(GEOly 自己的网站也在 geoly.ai/llms.txt 提供了一份,映射我们的文档和博客——正是出于这种"廉价期权"的逻辑,而不是因为我们指望它撬动排名。)

反对 llms.txt 的证据

再看账本的另一侧,这一侧要沉重得多。

Google 无视它——明确且反复地。 Google 的 Gary Illyes 在 2025 年 7 月的 Search Central Live 上确认,Google 不支持 llms.txt 也没有支持计划,想在 AI Overviews 中获得排名只需要标准 SEO。John Mueller 说得更直白,把 llms.txt 比作 keywords meta 标签——一个因为太容易被操纵而被搜索引擎抛弃的自我声明信号——并指出没有任何 AI 服务表示会使用该文件,还补了一句"看看你的服务器日志就知道,它们根本不会去检查它"。考虑到 Google 生态(Search、AI Overviews、AI Mode、Gemini)驱动着最大份额的 AI 中介式发现,仅它的拒绝就封死了这个文件的上限。

服务器日志证实爬虫没有在请求它。 这是决定性证据,且在多个独立数据集中得到复现:

  • Limy 分析了 515,382,577 次 LLM 机器人流量事件(90 天窗口,筛选 GPTBot、ClaudeBot、PerplexityBot、OAI-SearchBot 和 Google-Extended)。指向 /llms.txt 的请求只有 408 次——统计上可以忽略不计。
  • Ahrefs 在 2026 年 5 月研究了 137,210 个域名,发现已发布的 llms.txt 文件中 97% 收到的请求为零。在确实到达的流量中,大部分来自 SEO 审计工具和通用爬虫;真正为回答用户查询而抓取内容的 AI 检索机器人只占请求的 1.1%。Ahrefs 还发现,没有任何 AI 机器人会主动"寻找"不存在的 llms.txt 文件。
  • OtterlyAI 的三个月实验在一个正确部署了 llms.txt 的站点上记录了超过 60,000 次 AI 机器人访问;该文件仅在约 0.1% 的 AI 访问中被使用。他们的结论是:AI Agent 压倒性地通过标准页面和站点结构来发现内容,而不是 llms.txt。

没有任何主流 AI 实验室在生产环境承诺使用它。 截至 2026 年,OpenAI、Google、Meta 和 Mistral 都没有公开承诺在其生产检索系统中读取或响应 llms.txt(PPC Land)。即使 Anthropic 的使用,也只是把自己的文档喂给编程工具——并不代表 ClaudeBot 抓取你的网站时会去查阅你的 llms.txt。

没有测得任何可见度效果。 迄今没有任何公开研究证明添加 llms.txt 增加了 AI 引用、AI Overview 收录或答案引擎流量。经过两年时间和多项大规模研究之后仍然没有证据,这件事本身就值得计入权衡。

结论:廉价的保险,不是排名杠杆

把两列证据摆在一起,结论自己就写出来了。

在以下情况下发布 llms.txt: 你运营的是文档密集型、面向开发者或以 API 为核心的网站。这个文件的真实受众不是抓取公开网络的 GPTBot——而是开发者的编程助手,在需要时把你的文档拉进上下文。这个工作流今天真实存在,花你一小时,并温和地改善 AI 工具消费你文档的方式。

不要抱着以下期待发布它: 更多 AI 引用、更好的 ChatGPT 可见度,或任何 Google 层面的效果。决定你的品牌是否出现在 AI 回答中的那些引擎,没有在读这个文件。

基于我们跨引擎追踪到的一切,真正撬动 AI 可见度的是:

  1. 在 AI 引擎已经信任的信源上获得引用。 ChatGPT、Perplexity 和 Google AI Mode 严重依赖一批反复出现的高权威域名——Reddit 帖子、评价网站、行业媒体。让你的品牌在那里被提及,远比你自己服务器上的任何文件重要。我们的 AI 引用信源拆解准确展示了每个引擎从哪些域名取材。
  2. 实体一致性。 在你的网站、Wikipedia 相关信源、目录和社交资料上,保持同样的品牌名、同样的描述、同样的事实。LLM 从大量文档中拼装对品牌的理解;矛盾会稀释你。
  3. 可提取的内容。 清晰的问句式 H2/H3 标题、首句直接给答案、表格、FAQ、schema 标记。这是我们 ChatGPT AEO 指南等引擎专项手册深入讲解的页面功课——而且与 llms.txt 不同,检索机器人对这些页面的消费是有据可查的。

想要完整框架,GEO Academy 带你走完这门学科的全程,从实体建设到分引擎优化。

与其猜哪个杠杆在起作用,不如直接测量:GEOly 追踪你的品牌在 ChatGPT、Gemini、Perplexity 和 Google AI Mode 上的真实可见度、引用和声量份额——让你看清真正驱动 AI 存在感的因素,而不是对着文本文件搞形式主义。

如何正确实现 llms.txt(如果你决定做)

如果你的网站符合文档密集型的画像,那就把它做规范。llmstxt.org 的规范要求:

  • 一个位于 https://yourdomain.com/llms.txt 的 Markdown 文件(根目录,不是子目录)
  • 一个 H1,写你的站点或项目名称(唯一必需元素)
  • 一段 blockquote 摘要,之后是以 H2 分隔的链接区块
  • 一个可选的 ## Optional 区块,放上下文紧张时可以跳过的链接

一个最小示例:

# Acme Analytics

> Acme Analytics is a product analytics platform for B2B SaaS.
> Docs cover installation, APIs, and integrations.

## Documentation

- [Quickstart](https://acme.com/docs/quickstart.md): Install and send your first event in 10 minutes
- [API Reference](https://acme.com/docs/api.md): REST endpoints, auth, and rate limits
- [Integrations](https://acme.com/docs/integrations.md): Salesforce, HubSpot, and Segment setup

## Optional

- [Changelog](https://acme.com/changelog.md): Release history
- [Blog](https://acme.com/blog.md): Product updates and guides

实操规则:尽可能链接到页面的纯净 Markdown 版本(规范建议在 URL 后追加 .md);做策划而不是倾倒整个 sitemap;描述控制在一行;文档变更时同步更新该文件——一份过期的地图比没有地图更糟。可以选配 llms-full.txt,把完整文档内容放进单一文件,供一次性全量摄取的工具使用。

然后据此设定预期,90 天后去看你的服务器日志。

常见问题

llms.txt 对 Google SEO 或 AI Overviews 有帮助吗?

没有。Google 已公开确认搜索不将 llms.txt 用于抓取、索引或排名,而且进入 AI Overviews 靠的就是常规 SEO。John Mueller 把这个文件比作 keywords meta 标签。它对 Google 各界面的效果,从设计上就是零。

llms.txt 和 robots.txt 有什么区别?

Robots.txt 是被广泛遵守的排除协议——它告诉爬虫什么不能访问;如果你的目标是屏蔽 AI 训练机器人,就在那里做(通过 GPTBot、Google-Extended 等 user-agent)。llms.txt 是自愿性的邀请——一份没有强制力的策划内容地图,而且按服务器日志研究,AI 爬虫几乎不消费它。它们解决的是不同的问题,而只有其中一个会被可靠地读取。

2026 年我该给网站加 llms.txt 吗?

如果你运营文档密集、面向开发者或以 API 为核心的网站:加,成本约一小时,能帮助 AI 编程助手消费你的文档。如果你运营的是典型的营销站、博客或电商店铺:它不会伤害你,但别指望任何可测量的可见度提升——把时间投给可提取的内容和引用。我们的免费 AI prompt 生成器是理解 AI 引擎如何看待你所在领域的更好起点。

ChatGPT、Claude 或 Perplexity 会读 llms.txt 吗?

不成体系。没有任何主流 AI 公司承诺在生产检索中读取 llms.txt,日志研究显示 GPTBot、ClaudeBot 和 PerplexityBot 几乎从不请求该文件——某个 90 天数据集里 5.15 亿次机器人事件中只有 408 次请求。Anthropic 为自己的文档发布了一份 llms.txt,这是对格式在文档分发上的背书,不是其爬虫会读取你的文件的承诺。

llms.txt 会伤害我的网站吗?

基本不会,但有两个例外:一份过期的文件把 AI 工具指向陈旧文档,可能导致关于你产品的错误回答;一份自动生成、倾倒数千 URL 的清单则违背了这个文件的策划初衷。保持它简短、准确、有人维护——否则干脆不做。

如果 llms.txt 驱动不了 AI 可见度,什么可以?

可测量的杠杆是:在 AI 引擎已信任的域名上获得引用、全网一致的实体信息,以及为提取而结构化的内容(问句式标题、直接给答案、schema)。对比类和替代品类查询是杠杆特别高的一块阵地——看看品牌们如何在我们的 alternatives 页面上争夺它们。然后分引擎追踪结果而不是靠假设:这正是 GEOly 所测量的。

延伸阅读:AGENTS.md 是什么,以及它为什么不是 llms.txt.

看看你的品牌在 AI 搜索里的表现

GEOly 追踪 ChatGPT、Gemini、Google AI 如何提及、引用并推荐你的品牌,帮你赢下 AI 货架。

免费开始体验

免费试用 3 天 · 无需绑卡

在 Google 中将 GEOly 设为优先来源

领先消费品牌的共同选择

Anker SOLIX
eufy
soundcore
PLAUD
xTool
Ulike
Jackery
Roborock
Dreame
EcoFlow
Insta360
TCL
Beatbot
CASETiFY
Creality
Shokz
Segway
realme

12,000+ 品牌方正在用 GEOly 追踪并赢下 AI 搜索

从 Anker SOLIX 到 xTool——以上品牌已经在 GEOly 看到 ChatGPT、Gemini、Google AI 如何提及、引用并推荐它们。你的品牌此刻也正在被 AI 谈论,注册即可查看。

免费查看我的品牌 AI 表现

免费试用 3 天 · 无需绑卡