What is llms.txt? An honest guide to the AI-readable web standard (2026) — GEOly AI glossary cover

llms.txt 是什么?AI 可读网站标准与实施指南(2026)

摘要

llms.txt 是一个提议中的网络标准:放在域名根目录的精选 Markdown 索引,告诉 AI 模型你站点上最重要的页面是什么——实施只需一小时,2026 年尚无排名证据,却是面向 agent 实时检索时代的低成本对冲。

llms.txt 是一个提议中的网络标准:放在域名根目录(yourdomain.com/llms.txt)的纯 Markdown 文件,为大语言模型提供一份精选、省 token 的站点重点页面索引。robots.txt 管权限、sitemap.xml 管清单,而 llms.txt 管上下文——先用一句话说明你的站点是什么,再给出一份带注释的阅读清单,AI agent 几毫秒就能解析完。它由 Answer.AI 的 Jeremy Howard 在 2024 年 9 月提出,到 2026 年仍是社区约定:发布它的网站很多,但尚无任何主流 AI 厂商正式承诺读取。

核心要点

  • llms.txt 是放在站点根目录的精选 Markdown 索引。llmstxt.org 的规范只强制要求一个 H1 站点名,摘要引用块和分组链接都是推荐项而非必填。
  • 它回答的问题与 robots.txt(能不能抓)和 sitemap.xml(有哪些页面)完全不同:它告诉模型该先读什么、为什么读。
  • 2026 年的真实现状:一年内发布量增长 8.8 倍,但 97% 的文件从未收到任何 AI bot 请求,Google 也明确表示完全不使用这个文件。
  • 真正的想象空间在 agent 实时检索:当 AI 助手或购物 agent 在对话中现场访问你的网站时,一份干净的 Markdown 地图远比笨重的 HTML 好用。
  • 实施成本约一小时。把它当作 GEO 清单里的一个低成本项目,而不是一套独立的可见度策略。

llms.txt 如何工作

llmstxt.org 定义的格式刻意做得极简。一个合规的文件按顺序包含:

  1. 一个 H1 站点名或项目名——唯一的必填项,例如 # GEOly AI。
  2. 紧随其后的引用块摘要:> 面向 DTC 品牌的 GEO 数据平台,覆盖 7 个 AI 引擎。
  3. 可选的自由段落,交代模型继续阅读前需要知道的背景。
  4. 用 H2 分组的带注释链接,每行一条:- [快速上手](/docs/quick-start):安装并跑通第一次诊断。
  5. 一个字面上叫 Optional 的可选小节,放 agent 在上下文预算吃紧时可以跳过的链接。

还有两个配套约定。llms-full.txt 把关键页面的完整正文合并进一个文件,agent 一次抓取就能拿到全部内容;规范还建议在重要页面 URL 后加 .md 提供 Markdown 版本。

用 Markdown 的理由是一笔算术账。典型的电商页面在几段正文之外裹着几百 KB 的导航、脚本和 Cookie 弹窗,而语言模型摄入的每个 token 都有成本。一份精选的纯文本索引,决定了 agent 是读懂你的真实定位,还是淹死在你的顶部菜单里。

llms.txt、robots.txt 与 sitemap.xml 的区别

这三个根目录文件面向不同的读者,却经常被混为一谈。

  • robots.txt 对爬虫讲权限:GPTBot、ClaudeBot、Googlebot 可以抓哪些路径。它是执行层,而且与 llms.txt 不同,主流 AI 爬虫可验证地遵守它。
  • sitemap.xml 对索引系统讲清单:你希望被发现的每一个 URL,但没有任何优先级或叙事。
  • llms.txt 对语言模型讲含义:一份通常只有十到五十条链接的精选短名单,说明你卖什么、主张什么、权威答案在哪。

三者互不替代,而且必须口径一致:一边在 robots.txt 里屏蔽 GPTBot,一边发布 llms.txt,等于对同一家公司发出自相矛盾的信号。

2026 年,到底有谁在读 llms.txt?

大多数指南在这里开始夸大,所以只讲可观察的事实。Google 明确表示 Search 和 AI 功能都不使用 llms.txt;John Mueller 把它类比为 keywords meta 标签——自我声明、容易操纵、因此被无视。OpenAI 和 Anthropic 也都没有承诺在训练或索引时抓取它。ppc.land 对 300 多万个站点的监测显示:一年间发布量从约 4,000 涨到 36,000,但其中 97% 的文件没有收到过任何 AI bot 请求。

那为什么还要做?因为抓取和检索是两种行为。训练爬虫今天确实无视这个文件,但当 agent 现场访问你的网站——答案引擎在对话中做实时 grounding,或购物 agent 在 Agentic Commerce 流程里比价选品——它会读取任何能低成本完成任务的东西,精选的 Markdown 索引正是这种东西。这个文件押注的是 agent 流量,而不是今天的排名;一小时的工作量,这笔对冲很便宜。

跨平台可见度矩阵:ChatGPT、Gemini、Google AI Overview、AI Mode 与 Perplexity 的品牌提及对比 —— 来源:GEOly AI (app.geoly.ai)
跨平台可见度矩阵:ChatGPT、Gemini、Google AI Overview、AI Mode 与 Perplexity 的品牌提及对比 —— 来源:GEOly AI (app.geoly.ai)

如何正确实施 llms.txt

  1. 用纯 Markdown 起草:H1 站点名、引用块摘要,然后两到四个 H2 小节——文档、产品或系列、政策(物流、退换、质保)、公司信息。
  2. 狠心做减法。十到五十条链接,每条配一句话说明。如果你在粘贴 sitemap,就已经跑偏了。
  3. 以纯文本类型部署到 /llms.txt,并确认 robots.txt 和 CDN 规则允许 AI user agent 抓取。
  4. 保持新鲜。上新品、改价格时重新生成。Shopify 商家可以自动化:GEOly 的 LLMs.txt Master 应用会扫描店铺中高表现的产品页与政策页,并随商品目录变化自动重生成文件。
  5. 直接验证消费情况:在服务器日志里筛选 GPTBot、ClaudeBot、PerplexityBot 对 /llms.txt 的请求。
  6. 度量结果,而不是文件本身。机器可读性——包括 llms.txt、结构化数据和爬虫可达性——是 GEOly 29 项 GEO 诊断中的一个板块;真正说明成效的是引用率、提及率,以及跨引擎的 AIGVR 分数走势,完整指标体系见这份指南。
AI 引用信源分析:信源类型分布与 AI 引擎最常引用的域名 —— 来源:GEOly AI (app.geoly.ai)
AI 引用信源分析:信源类型分布与 AI 引擎最常引用的域名 —— 来源:GEOly AI (app.geoly.ai)

常见错误

  • 把所有 URL 都倒进去。那只是第二份 sitemap;这个文件的全部价值在于「什么最重要」的编辑判断。
  • 放任过期。指向已下架产品或旧价格的 llms.txt 比没有更糟——你在以高置信度向 agent 投喂过时事实。
  • 期待排名提升。没有任何证据表明它能撬动 Google 排名或 AI Overviews,声称能的人多半在卖东西。
  • 信号自相矛盾:发布这个文件,却同时屏蔽同一批公司的爬虫。
  • 把它当成全部工作。结构化数据和值得被引用的内容,对 AI 引擎实际怎么谈论你的影响要大得多。

FAQ

llms.txt 能提升我在 Google 或 ChatGPT 里的排名吗?

没有证据支持。Google 明确不使用它,也没有任何 LLM 厂商确认将其用于索引。它的合理价值在于让 agent 的实时访问更便宜、更准确,从而间接利好提及和引用——所以该度量的是这些结果,而不是文件本身。

llms.txt 和 llms-full.txt 有什么区别?

llms.txt 是索引:链接加一句话说明。llms-full.txt 把这些页面的完整正文合并进一个大文件,用一次抓取的便利换体积——文件太大反而会撑爆 agent 的上下文预算。对多数 DTC 站点来说,先做好索引就够了。

有了 llms.txt,还需要 robots.txt 和 sitemap.xml 吗?

需要。三者分别负责权限、清单和上下文,各司其职;而且 robots.txt 是三者中唯一被 AI 公司可验证地遵守的。三个文件的口径务必保持一致。

怎么知道 AI bot 有没有真的在读我的 llms.txt?

在服务器或 CDN 日志里按 AI user agent 筛选对 /llms.txt 的请求。多数站点会发现很少甚至没有——这与行业数据一致。更有意义的信号在下游:AI 引擎对你域名的提及和引用是否随时间上升,这正是分引擎监测要解决的问题。

看看你的品牌在 AI 搜索里的表现

GEOly 追踪 ChatGPT、Gemini、Google AI 如何提及、引用并推荐你的品牌,帮你赢下 AI 货架。

免费开始体验

免费试用 3 天 · 无需绑卡

在 Google 中将 GEOly 设为优先来源

领先消费品牌的共同选择

Anker SOLIX
eufy
soundcore
PLAUD
xTool
Ulike
Jackery
Roborock
Dreame
EcoFlow
Insta360
TCL
Beatbot
CASETiFY
Creality
Shokz
Segway
realme

12,000+ 品牌方正在用 GEOly 追踪并赢下 AI 搜索

从 Anker SOLIX 到 xTool——以上品牌已经在 GEOly 看到 ChatGPT、Gemini、Google AI 如何提及、引用并推荐它们。你的品牌此刻也正在被 AI 谈论,注册即可查看。

免费查看我的品牌 AI 表现

免费试用 3 天 · 无需绑卡