# robots.txt 已允许，Cloudflare 为什么仍阻挡 AI 爬虫？

- Canonical: https://www.geoly.ai/zh/blog/waf-blocking-ai-crawlers
- Published: 2026-11-21
- Updated: 2026-11-21
- Author: [GEOly AI](https://www.geoly.ai/zh/blog/author/geoly-ai)
- Tags: [GEO](https://www.geoly.ai/zh/blog/tag/geo), [technical-seo](https://www.geoly.ai/zh/blog/tag/technical-seo), [ai-crawlers](https://www.geoly.ai/zh/blog/tag/ai-crawlers)

> **Summary:** 用请求证据区分 Cloudflare、Bot 设置与源站故障，避免把伪装 user-agent 的测试当作真实爬虫恢复。

robots.txt 的 Allow 不会覆盖 Cloudflare 安全控制或源站权限。AI 爬虫遇到 403、挑战页或不可用内容时，先确认响应由哪一层产生，再修改规则。目标是让预期的公开页面请求成功，同时保留网站其他访问策略。

## 核心要点

- robots.txt 是爬取策略，不是防火墙例外。
- 请求证据用于区分边缘安全与源站故障。
- user-agent 字符串不能证明真实爬虫身份。
- 修复后既查状态码，也查响应正文。

## 先保存故障记录

选一个受影响的公开 URL，记录时间、状态码、响应头、正文和可用的 Cloudflare Ray ID。说明证据来自真实爬虫日志、自己的诊断请求，还是监测服务。

检查是否为挑战页、拒绝消息、应用错误或登录跳转。200 也可能只返回挑战页或空壳；403 也可能由源站应用产生。

先用[robots.txt 指南](https://www.geoly.ai/zh/blog/configure-robots-txt-ai)核对预期策略。网络层拒绝时，不要不断改写 robots.txt。

## 找到实际拦截组件

在 Cloudflare 安全事件中按时间、主机名、路径和 Ray ID 查找匹配记录，保存动作、规则 ID 与负责服务，再对照源站日志确认请求是否到达应用。

| 证据 | 下一步 | 不应直接推断 |
| --- | --- | --- |
| 匹配边缘安全事件 | 检查对应规则或 Bot 控制 | 所有 403 都是 robots.txt 问题 |
| 源站收到并拒绝请求 | 检查应用权限和限流 | 一定由 Cloudflare 拦截 |
| 跳转到登录 | 检查路由保护 | 爬虫会完成交互登录 |
| 200 但正文是挑战或空壳 | 检查响应与渲染路径 | 200 就等于内容可读 |
| 没有匹配事件 | 检查时间范围、日志覆盖及路径 | 一个面板没记录就说明没请求 |

日志可能被采样或只保留有限时间，报告应说明证据能证明什么。

## 分清 Bot Fight Mode 与 Super Bot Fight Mode

Cloudflare 官方说明：WAF 自定义规则的 Skip 无法绕过 Bot Fight Mode；Super Bot Fight Mode 则支持通过 Ruleset Engine 设置限定例外。复制针对另一功能的规则，可能完全不生效。[Cloudflare 排障文档](https://developers.cloudflare.com/bots/troubleshooting/false-positives/)

先识别实际拦截功能，再使用当前套餐支持的控制。不要因一次抓取失败关闭无关保护。需要例外时，将范围限制在已验证身份和预期公开路径，并保存原设置以便恢复。

## 创建例外前核实身份

user-agent 很容易被模仿。本机把自己声明为搜索机器人，只能测试这个字符串和本机来源地址的待遇，不能证明真实爬虫会怎样被处理。

使用提供商当前验证方法和 Cloudflare 可用的已验证机器人信息。[OpenAI 爬虫文档](https://developers.openai.com/api/docs/bots)区分搜索、训练与用户触发访问，应按角色设置策略。

允许搜索爬虫不保证收录或引用；训练访问也是独立决策，不是获得品牌推荐的可靠捷径。

## 一次改一项，并检查真实正文

保存配置后做针对性修改，再测试同一 URL。确认返回的是目标内容，重要文字和链接能被预期抓取流程读取，而不只是状态码正确。

随后观察真实爬虫再次访问的记录，对照变更时间与结果。无法复现原故障时，应把结果标记为诊断请求成功，而非已证实真实爬虫恢复。

可用 [GEOly 审核修复流程](https://www.geoly.ai/open/mcp/use-cases/geo-audit-fix-list)组织发现。已连接 Cloudflare 时，爬虫与拦截证据可辅助排查；来自 AI 回答的访客则属于[流量归因](https://www.geoly.ai/zh/blog/ai-traffic-attribution)，两者不是同一指标。

## 常见问题

### Allow 为什么仍然得到 403？

robots.txt 不覆盖边缘安全、限流或源站权限，应查明实际响应来源。

### 按 user-agent 放行可靠吗？

字符串本身不足以验证身份。应使用提供商验证方法和适用的安全控制。

### curl 成功就证明修复了吗？

它能证明该测试请求的状态和内容。真实爬虫的恢复还需要后续日志或适当的提供商诊断证据。
