AI 爬虫(AI Crawlers)是由 AI 公司运营的自动化抓取机器人——OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、PerplexityBot,以及一长串还在快速增加的名字——它们抓取网页内容,要么用于训练大语言模型,要么在 AI 引擎回答问题时实时检索页面。Googlebot 给 URL 建索引、让页面以链接形式排名;AI 爬虫决定的则是你的品牌是否存在于 ChatGPT、Gemini、Perplexity 和 Google AI Overviews 之中。如何在 robots.txt 里对待它们,已成为 GEO(生成式引擎优化)中最具影响的技术决策之一。
核心要点
- AI 爬虫分三类:为未来模型收集语料的训练爬虫(
GPTBot、ClaudeBot)、为 AI 搜索建索引的搜索爬虫(OAI-SearchBot、PerplexityBot),以及应用户请求实时抓取页面的用户触发抓取器(ChatGPT-User、Perplexity-User)。 - 屏蔽训练爬虫,内容进不了未来的模型;屏蔽搜索爬虫,今天就会从 AI 答案中消失。争夺 AI 可见性的品牌几乎都应放行搜索与检索类爬虫。
Google-Extended只控制 Gemini 的训练与 grounding,并不能让你退出 AI Overviews——后者依赖普通的 Googlebot 抓取。- robots.txt 是一份政策声明,不是一堵墙:用户触发的抓取器常常无视它,个别爬虫的合规记录也很差。
- 先审计再下结论:Cloudflare 自 2025 年年中起对新域名默认屏蔽已知 AI 爬虫,很多品牌在 AI 引擎里隐形并非出于自己的选择。
三种任务,三类爬虫
Googlebot 只有一个任务:为网页建图谱以便排名。AI 爬虫做的是三件不同的事,每一件带来的回报都不一样。
- 训练爬虫为下一代模型收集大规模语料。
GPTBot、ClaudeBot、Meta-ExternalAgent属于这一类,还有非营利组织 Common Crawl 的CCBot——许多 AI 实验室都在复用它的数据集。今天被抓取的内容,可能要等下一个模型发布后才影响答案,中间隔着数月。 - 搜索索引爬虫构建 AI 搜索背后的检索索引。
OAI-SearchBot支撑 ChatGPT search,Claude-SearchBot服务 Claude 的联网搜索,PerplexityBot构建 Perplexity 的索引。这类爬虫直接决定你这周能否被答案引用。 - 用户触发抓取器因某个人的提问而抓取某个具体页面。
ChatGPT-User、Claude-User、Perplexity-User在问题需要实时查看你的网站时被触发——也就是 grounding queries 背后的检索环节。
产出的差异比机制更重要。传统抓取换来一条排名链接,或许还有一次点击;AI 抓取换来的是合成答案里的 AI 引用与品牌提及——这是零点击搜索时代的硬通货。
2026 年需要认识的 AI 爬虫
OpenAI
GPTBot 为未来的 GPT 模型收集训练数据。OAI-SearchBot 为 ChatGPT search 抓取内容,按照 OpenAI 的爬虫文档,它不用于训练。ChatGPT-User 在对话中代表用户实时抓取页面。实际区别在于:屏蔽 GPTBot 影响的是未来模型;屏蔽 OAI-SearchBot,你现在就会从 ChatGPT 的搜索结果中消失。
Anthropic
ClaudeBot 是训练爬虫,Claude-SearchBot 为 Claude 的联网搜索建索引,Claude-User 处理用户触发的抓取。旧指南里还会出现的 Claude-Web 已经退役。
Googlebot 仍是主力,它同时也为 AI Overviews 和 AI Mode 供数。Google-Extended 是一个控制令牌而非独立爬虫:禁用它可以阻止内容用于 Gemini 训练与 grounding,但根据 Google 的爬虫文档,它既不影响搜索排名,也不影响 AI Overviews。想退出 AI Overviews,只能靠 snippet 控制指令,或者干脆退出 Google 索引。
Perplexity
PerplexityBot 构建 Perplexity 答案引擎背后的索引。Perplexity-User 在问题需要实时联网时抓取页面——由于请求出自真人,Perplexity 声明它通常不遵守 robots.txt。
其他值得留意的爬虫
Applebot服务 Siri 与 Spotlight;Applebot-Extended是苹果仅针对 AI 训练的退出令牌。Amazonbot为 Alexa 及亚马逊的购物 AI(包括 Rufus)供数。Bytespider是字节跳动的爬虫,长期以抓取激进、robots.txt 合规性差著称。CCBot为 Common Crawl 抓取;屏蔽它意味着同时退出多家实验室共用的公开训练数据集。

如何制定 robots.txt 策略
机制很简单:每个爬虫一组 user-agent 规则,例如 User-agent: GPTBot 加 Disallow: / 表示屏蔽,不写 disallow 即为放行。品牌真正出错的地方在策略。可选的姿态有三种。
- 全开放:放行所有爬虫。这是多数 DTC 品牌的默认 GEO 姿态——你希望模型学习你的产品、引擎引用你的页面。
- 选择性开放:放行搜索与用户类爬虫(
OAI-SearchBot、PerplexityBot、Claude-SearchBot),屏蔽训练爬虫(GPTBot、ClaudeBot、CCBot、Meta-ExternalAgent)。正在谈内容授权的出版商用这种方式保住被引用的资格,同时不白送训练数据。 - 全封闭:屏蔽所有 AI 爬虫。内容确实进不了机器,但 AI 助手仍会谈论你的品类——只不过是用过时的训练数据和你无法控制的第三方信源来描述你的品牌。对商业品牌来说,这笔交易很少划算。
无论选哪种姿态,都应给 robots.txt 配一份 llms.txt,为 AI 爬虫提供一张清晰的重点页面地图;同时确保结构化数据在服务端渲染——多数 AI 爬虫不执行 JavaScript。
监测爬虫访问,以及它真正换来什么
从服务器开始:在日志或 CDN 分析里过滤上述 user-agent,并且要看响应码而不只是访问量——一个不断收到 403 的爬虫什么也读不到。伪造 UA 很常见,可疑流量应对照各大实验室公布的官方 IP 段核验。还要检查 CDN 这一层:自从 Cloudflare 对新域名默认屏蔽已知 AI 爬虫,「我们从没屏蔽过谁」已不能证明你可被抓取。
抓取访问只是输入端,你真正关心的输出是引擎是否提及并引用你。GEOly AI 正是围绕这条链路搭建的:29 项 GEO 审计覆盖访问机制(逐爬虫的 robots.txt 规则、llms.txt 是否存在、可渲染性),品牌监测再追踪下游结果——AIGVR 可见性评分、七大引擎的提及率与引用率,以及引擎在你的品类里究竟引用了哪些域名。审计中一个常见的模式:robots.txt 里认真放行了 GPTBot,一条 WAF 规则却默默给 OAI-SearchBot 返回 403——训练爬虫待遇完美,ChatGPT search 里却是零存在。这些 KPI 如何串联可看 AI 搜索指标指南,平台全貌见 GEOly AI 介绍(app.geoly.ai 提供 3 天免费试用)。

常见错误
- 以为
Google-Extended能退出 AI Overviews。不能——AI Overviews 建立在 Googlebot 之上。 - 一刀切的反爬规则(WAF 策略、限流、CDN 默认设置)悄悄给 AI 搜索爬虫返回 403,却没人发现。
- 把 robots.txt 当强制手段。它只是请求;用户触发的抓取器和不守规矩的爬虫照抓不误。
- 忽视
CCBot。Common Crawl 同时供给多条训练管线,这一个决定的分量远超单家公司的爬虫。 - 屏蔽全部 AI 爬虫,然后困惑 ChatGPT 为什么把你的产品线说错。当模型读不到你时,只能退回到过时数据和第三方信息。
FAQ
我应该屏蔽 GPTBot 吗?
对多数商业品牌来说不应该。屏蔽 GPTBot 会让内容进不了未来的 OpenAI 模型,下一代 ChatGPT 只能从竞争对手和第三方那里学习你的品类。屏蔽主要适合内容即产品、正在谈授权交易的出版商。
AI 爬虫会遵守 robots.txt 吗?
主流的训练与搜索爬虫——GPTBot、ClaudeBot、OAI-SearchBot、PerplexityBot——公开承诺遵守,实际表现也基本如此。用户触发的抓取器(如 Perplexity-User)则常常按设计不遵守,因为请求来自真人;Bytespider 的合规记录尤其差。与其相信声明,不如在日志里验证。
GPTBot 和 OAI-SearchBot 有什么区别?
GPTBot 为未来模型收集训练数据,效果要数月后才显现,甚至可能不显现;OAI-SearchBot 构建 ChatGPT search 背后的索引,屏蔽它几乎立刻会让页面失去被引用的资格。两者在 robots.txt 中相互独立,可以放行一个、屏蔽另一个。
怎么知道 AI 爬虫有没有来我的网站?
在服务器日志或 CDN 分析中过滤 user-agent(GPTBot、ClaudeBot、PerplexityBot、OAI-SearchBot 等),并确认返回的是 200。然后测量下游效果:追踪品牌在 AI 搜索中的提及能告诉你这些抓取有没有转化成答案与引用。

