Cloudflare 推出了 Crawl API，让开发者只用一次 API 调用就爬取整个网站。它通过 Browser Rendering 全新的 /crawl 端点开放测试：给一个起始 URL，系统自动发现页面、在无头浏览器中渲染，并以 HTML、Markdown 或结构化 JSON 返回内容。过去要吞掉数周的脏活——代理、CAPTCHA、分页、解析——被压缩进一次请求。而对任何在思考"品牌内容如何被 AI 摄取"的人来说，这份便利是双刃的。
核心要点
- Cloudflare 的 Crawl API 从一个起始 URL 爬取整站，返回 HTML、干净的 Markdown 或经 Workers AI 提取的 JSON——无需搭爬虫框架。 - 它能从站点地图和链接发现页面，支持爬取深度与通配符范围控制、增量爬取（modifiedSince、maxAge），以及 render:false 的静态模式。 - 该爬虫遵守 robots.txt 和 crawl-delay、会自我标识、且无法绕过 Cloudflare 的爬虫检测——它是合规工具，不是隐身工具。 - 之所以有 Markdown 输出，是因为那正是 LLM 与 RAG 管道想要的格式；这是喂给 AI 的基础设施，而你的网站就是原料。 - 对 GEO 来说，教训直白：如果你的页面无法被干净地爬取和机器解析，AI 系统就更难摄取你——也更容易略过你。
Crawl API 到底做了什么
传统网站爬取是一叠杂活：你架起 Scrapy 或 Puppeteer，处理分页和速率限制，对付 CAPTCHA，轮换代理和 IP，躲反爬措施，最后手动解析并结构化内容。Crawl API 用一次调用取代这一切：提交起始 URL，Cloudflare 从站点地图和链接发现页面、逐页在无头浏览器里渲染，再交回结构化输出。那些让随手爬取变昂贵的摩擦，基本消失了。
真正要紧的特性
输出格式是关键线索。你可以拿到原始渲染的 HTML、为 LLM 就绪而生的干净 Markdown、或用 Workers AI 提取的结构化 JSON。范围控制让你设定爬取深度、限制页面数量，并用通配符包含或排除特定 URL 路径。页面发现从站点地图、页面链接、或两者结合中抽取 URL。增量爬取用 modifiedSince 跳过未变更页面、用 maxAge 跳过近期抓过的页面，让重复爬取保持便宜。带 render: false 的静态模式为无需浏览器的站点抓取纯 HTML，更快也更省。
在合规上，Cloudflare 说得很明确：爬虫遵守 robots.txt 指令、尊重 crawl-delay、把自己标识为爬虫、且无法绕过 Cloudflare 自家的爬虫检测。这是一个按规则爬取开放网络的工具，不是溜过防线的工具。
为什么"Markdown 优先"的爬虫其实是一个 AI 故事
注意哪种格式被贴上了"LLM 就绪"的标签。Markdown 是检索增强生成（RAG）偏爱的输入，因为它剥掉排版噪音、保留模型可切块并嵌入的干净结构化文本。一个默认输出 Markdown 的爬虫，主要目的不是用老办法建搜索索引，而是搭建喂养 AI 助手的知识库与 RAG 管道。Cloudflare 卖的是 AI 摄取层的"铲子和镐"，而每一个公开网站都是潜在的矿石。
对 GEO 意味着什么
这里有一种不太舒服的对称。让你的站点容易被 Cloudflare 的 Crawl API 转成干净 Markdown 的那些性质，正是让你的品牌容易被 AI 系统摄取、理解并引用的性质。干净的 HTML、完整的站点地图、合理的链接结构、一份欢迎正规爬虫的 robots.txt——这些不只是爬取便利，它们决定了你的内容能否顺畅流入你客户求推荐的那些 AI 系统。
反过来看风险就很明显。如果你的页面是一团无结构标记、依赖会崩的客户端渲染、或一刀切地封锁爬虫，你就不只是难爬——你还难被 AI 呈现，而 AI 无法推荐它读不干净的东西。这恰恰是 GEO 审计要查的。[GEOly](/zh/blog/what-is-geoly-ai) 会对你的站点和页面做 AI 就绪度诊断——内容是否可爬、可解析、结构是否符合机器所需——而它同时也把你整条赛道在 ChatGPT、Gemini、Google AI 里的格局映射出来。它的数据通过 MCP 和 CLI 开放，所以如果你正用 Crawl API 这类工具搭监控或 RAG 管道，你的 Agent 可以在同一工作流里查询 GEO 可见度。更宽的 Agent 工具背景，见我们关于 [GEO MCP server](/zh/blog/geo-mcp-server-ai-visibility-claude-code-cursor-codex) 的文章；基础可读[什么是 GEO](/zh/blog/what-is-generative-engine-optimization-geo)。
常见问题
Crawl API 是用来爬竞品还是搭 AI 应用？两者都可能，但 Markdown 和 Workers AI 的 JSON 输出说明了它的重心：把内容喂进 LLM 与 RAG 管道。
遵守 robots.txt 会限制它的用处吗？对正当用途不会——它只是让站点所有者保有控制权。这也意味着你的 robots.txt 是一个实时决定：合规的 AI 爬虫能否触达你。
品牌该如何应对这类工具？假设你的公开内容会被爬取并喂给 AI。把它做得干净、结构化、可爬，然后核实 AI 系统实际如何呈现你。
Crawl API 表面是开发者便利，底下是一条 AI 摄取管道。对它保持可读的品牌，也正是对 AI 保持可读的品牌。想检查你的品牌对 AI 引擎有多可摄取、多可见？[GEOly](/zh/about-us) 提供 3 天免费试用。更多内容见 [GEOly AI](/zh/blog/author/geoly-ai)。
