robots.txt 的 Allow 不会覆盖 Cloudflare 安全控制或源站权限。AI 爬虫遇到 403、挑战页或不可用内容时,先确认响应由哪一层产生,再修改规则。目标是让预期的公开页面请求成功,同时保留网站其他访问策略。
核心要点
- robots.txt 是爬取策略,不是防火墙例外。
- 请求证据用于区分边缘安全与源站故障。
- user-agent 字符串不能证明真实爬虫身份。
- 修复后既查状态码,也查响应正文。
先保存故障记录
选一个受影响的公开 URL,记录时间、状态码、响应头、正文和可用的 Cloudflare Ray ID。说明证据来自真实爬虫日志、自己的诊断请求,还是监测服务。
检查是否为挑战页、拒绝消息、应用错误或登录跳转。200 也可能只返回挑战页或空壳;403 也可能由源站应用产生。
先用robots.txt 指南核对预期策略。网络层拒绝时,不要不断改写 robots.txt。
找到实际拦截组件
在 Cloudflare 安全事件中按时间、主机名、路径和 Ray ID 查找匹配记录,保存动作、规则 ID 与负责服务,再对照源站日志确认请求是否到达应用。
证据 | 下一步 | 不应直接推断 |
|---|---|---|
匹配边缘安全事件 | 检查对应规则或 Bot 控制 | 所有 403 都是 robots.txt 问题 |
源站收到并拒绝请求 | 检查应用权限和限流 | 一定由 Cloudflare 拦截 |
跳转到登录 | 检查路由保护 | 爬虫会完成交互登录 |
200 但正文是挑战或空壳 | 检查响应与渲染路径 | 200 就等于内容可读 |
没有匹配事件 | 检查时间范围、日志覆盖及路径 | 一个面板没记录就说明没请求 |
日志可能被采样或只保留有限时间,报告应说明证据能证明什么。
分清 Bot Fight Mode 与 Super Bot Fight Mode
Cloudflare 官方说明:WAF 自定义规则的 Skip 无法绕过 Bot Fight Mode;Super Bot Fight Mode 则支持通过 Ruleset Engine 设置限定例外。复制针对另一功能的规则,可能完全不生效。Cloudflare 排障文档
先识别实际拦截功能,再使用当前套餐支持的控制。不要因一次抓取失败关闭无关保护。需要例外时,将范围限制在已验证身份和预期公开路径,并保存原设置以便恢复。
创建例外前核实身份
user-agent 很容易被模仿。本机把自己声明为搜索机器人,只能测试这个字符串和本机来源地址的待遇,不能证明真实爬虫会怎样被处理。
使用提供商当前验证方法和 Cloudflare 可用的已验证机器人信息。OpenAI 爬虫文档区分搜索、训练与用户触发访问,应按角色设置策略。
允许搜索爬虫不保证收录或引用;训练访问也是独立决策,不是获得品牌推荐的可靠捷径。
一次改一项,并检查真实正文
保存配置后做针对性修改,再测试同一 URL。确认返回的是目标内容,重要文字和链接能被预期抓取流程读取,而不只是状态码正确。
随后观察真实爬虫再次访问的记录,对照变更时间与结果。无法复现原故障时,应把结果标记为诊断请求成功,而非已证实真实爬虫恢复。
可用 GEOly 审核修复流程组织发现。已连接 Cloudflare 时,爬虫与拦截证据可辅助排查;来自 AI 回答的访客则属于流量归因,两者不是同一指标。
常见问题
Allow 为什么仍然得到 403?
robots.txt 不覆盖边缘安全、限流或源站权限,应查明实际响应来源。
按 user-agent 放行可靠吗?
字符串本身不足以验证身份。应使用提供商验证方法和适用的安全控制。
curl 成功就证明修复了吗?
它能证明该测试请求的状态和内容。真实爬虫的恢复还需要后续日志或适当的提供商诊断证据。