llms.txt 是一个提议中的网络标准:放在域名根目录(yourdomain.com/llms.txt)的纯 Markdown 文件,为大语言模型提供一份精选、省 token 的站点重点页面索引。robots.txt 管权限、sitemap.xml 管清单,而 llms.txt 管上下文——先用一句话说明你的站点是什么,再给出一份带注释的阅读清单,AI agent 几毫秒就能解析完。它由 Answer.AI 的 Jeremy Howard 在 2024 年 9 月提出,到 2026 年仍是社区约定:发布它的网站很多,但尚无任何主流 AI 厂商正式承诺读取。
核心要点
llms.txt是放在站点根目录的精选 Markdown 索引。llmstxt.org 的规范只强制要求一个 H1 站点名,摘要引用块和分组链接都是推荐项而非必填。- 它回答的问题与
robots.txt(能不能抓)和sitemap.xml(有哪些页面)完全不同:它告诉模型该先读什么、为什么读。 - 2026 年的真实现状:一年内发布量增长 8.8 倍,但 97% 的文件从未收到任何 AI bot 请求,Google 也明确表示完全不使用这个文件。
- 真正的想象空间在 agent 实时检索:当 AI 助手或购物 agent 在对话中现场访问你的网站时,一份干净的 Markdown 地图远比笨重的 HTML 好用。
- 实施成本约一小时。把它当作 GEO 清单里的一个低成本项目,而不是一套独立的可见度策略。
llms.txt 如何工作
llmstxt.org 定义的格式刻意做得极简。一个合规的文件按顺序包含:
- 一个 H1 站点名或项目名——唯一的必填项,例如
# GEOly AI。 - 紧随其后的引用块摘要:
> 面向 DTC 品牌的 GEO 数据平台,覆盖 7 个 AI 引擎。 - 可选的自由段落,交代模型继续阅读前需要知道的背景。
- 用 H2 分组的带注释链接,每行一条:
- [快速上手](/docs/quick-start):安装并跑通第一次诊断。 - 一个字面上叫
Optional的可选小节,放 agent 在上下文预算吃紧时可以跳过的链接。
还有两个配套约定。llms-full.txt 把关键页面的完整正文合并进一个文件,agent 一次抓取就能拿到全部内容;规范还建议在重要页面 URL 后加 .md 提供 Markdown 版本。
用 Markdown 的理由是一笔算术账。典型的电商页面在几段正文之外裹着几百 KB 的导航、脚本和 Cookie 弹窗,而语言模型摄入的每个 token 都有成本。一份精选的纯文本索引,决定了 agent 是读懂你的真实定位,还是淹死在你的顶部菜单里。
llms.txt、robots.txt 与 sitemap.xml 的区别
这三个根目录文件面向不同的读者,却经常被混为一谈。
robots.txt对爬虫讲权限:GPTBot、ClaudeBot、Googlebot 可以抓哪些路径。它是执行层,而且与llms.txt不同,主流 AI 爬虫可验证地遵守它。sitemap.xml对索引系统讲清单:你希望被发现的每一个 URL,但没有任何优先级或叙事。llms.txt对语言模型讲含义:一份通常只有十到五十条链接的精选短名单,说明你卖什么、主张什么、权威答案在哪。
三者互不替代,而且必须口径一致:一边在 robots.txt 里屏蔽 GPTBot,一边发布 llms.txt,等于对同一家公司发出自相矛盾的信号。
2026 年,到底有谁在读 llms.txt?
大多数指南在这里开始夸大,所以只讲可观察的事实。Google 明确表示 Search 和 AI 功能都不使用 llms.txt;John Mueller 把它类比为 keywords meta 标签——自我声明、容易操纵、因此被无视。OpenAI 和 Anthropic 也都没有承诺在训练或索引时抓取它。ppc.land 对 300 多万个站点的监测显示:一年间发布量从约 4,000 涨到 36,000,但其中 97% 的文件没有收到过任何 AI bot 请求。
那为什么还要做?因为抓取和检索是两种行为。训练爬虫今天确实无视这个文件,但当 agent 现场访问你的网站——答案引擎在对话中做实时 grounding,或购物 agent 在 Agentic Commerce 流程里比价选品——它会读取任何能低成本完成任务的东西,精选的 Markdown 索引正是这种东西。这个文件押注的是 agent 流量,而不是今天的排名;一小时的工作量,这笔对冲很便宜。

如何正确实施 llms.txt
- 用纯 Markdown 起草:H1 站点名、引用块摘要,然后两到四个 H2 小节——文档、产品或系列、政策(物流、退换、质保)、公司信息。
- 狠心做减法。十到五十条链接,每条配一句话说明。如果你在粘贴 sitemap,就已经跑偏了。
- 以纯文本类型部署到
/llms.txt,并确认robots.txt和 CDN 规则允许 AI user agent 抓取。 - 保持新鲜。上新品、改价格时重新生成。Shopify 商家可以自动化:GEOly 的 LLMs.txt Master 应用会扫描店铺中高表现的产品页与政策页,并随商品目录变化自动重生成文件。
- 直接验证消费情况:在服务器日志里筛选 GPTBot、ClaudeBot、PerplexityBot 对
/llms.txt的请求。 - 度量结果,而不是文件本身。机器可读性——包括
llms.txt、结构化数据和爬虫可达性——是 GEOly 29 项 GEO 诊断中的一个板块;真正说明成效的是引用率、提及率,以及跨引擎的 AIGVR 分数走势,完整指标体系见这份指南。

常见错误
- 把所有 URL 都倒进去。那只是第二份 sitemap;这个文件的全部价值在于「什么最重要」的编辑判断。
- 放任过期。指向已下架产品或旧价格的
llms.txt比没有更糟——你在以高置信度向 agent 投喂过时事实。 - 期待排名提升。没有任何证据表明它能撬动 Google 排名或 AI Overviews,声称能的人多半在卖东西。
- 信号自相矛盾:发布这个文件,却同时屏蔽同一批公司的爬虫。
- 把它当成全部工作。结构化数据和值得被引用的内容,对 AI 引擎实际怎么谈论你的影响要大得多。
FAQ
llms.txt 能提升我在 Google 或 ChatGPT 里的排名吗?
没有证据支持。Google 明确不使用它,也没有任何 LLM 厂商确认将其用于索引。它的合理价值在于让 agent 的实时访问更便宜、更准确,从而间接利好提及和引用——所以该度量的是这些结果,而不是文件本身。
llms.txt 和 llms-full.txt 有什么区别?
llms.txt 是索引:链接加一句话说明。llms-full.txt 把这些页面的完整正文合并进一个大文件,用一次抓取的便利换体积——文件太大反而会撑爆 agent 的上下文预算。对多数 DTC 站点来说,先做好索引就够了。
有了 llms.txt,还需要 robots.txt 和 sitemap.xml 吗?
需要。三者分别负责权限、清单和上下文,各司其职;而且 robots.txt 是三者中唯一被 AI 公司可验证地遵守的。三个文件的口径务必保持一致。
怎么知道 AI bot 有没有真的在读我的 llms.txt?
在服务器或 CDN 日志里按 AI user agent 筛选对 /llms.txt 的请求。多数站点会发现很少甚至没有——这与行业数据一致。更有意义的信号在下游:AI 引擎对你域名的提及和引用是否随时间上升,这正是分引擎监测要解决的问题。

