robots.txt 已允许,Cloudflare 为什么仍阻挡 AI 爬虫?

摘要

用请求证据区分 Cloudflare、Bot 设置与源站故障,避免把伪装 user-agent 的测试当作真实爬虫恢复。

目录

robots.txt 的 Allow 不会覆盖 Cloudflare 安全控制或源站权限。AI 爬虫遇到 403、挑战页或不可用内容时,先确认响应由哪一层产生,再修改规则。目标是让预期的公开页面请求成功,同时保留网站其他访问策略。

核心要点

  • robots.txt 是爬取策略,不是防火墙例外。
  • 请求证据用于区分边缘安全与源站故障。
  • user-agent 字符串不能证明真实爬虫身份。
  • 修复后既查状态码,也查响应正文。

先保存故障记录

选一个受影响的公开 URL,记录时间、状态码、响应头、正文和可用的 Cloudflare Ray ID。说明证据来自真实爬虫日志、自己的诊断请求,还是监测服务。

检查是否为挑战页、拒绝消息、应用错误或登录跳转。200 也可能只返回挑战页或空壳;403 也可能由源站应用产生。

先用robots.txt 指南核对预期策略。网络层拒绝时,不要不断改写 robots.txt。

找到实际拦截组件

在 Cloudflare 安全事件中按时间、主机名、路径和 Ray ID 查找匹配记录,保存动作、规则 ID 与负责服务,再对照源站日志确认请求是否到达应用。

证据

下一步

不应直接推断

匹配边缘安全事件

检查对应规则或 Bot 控制

所有 403 都是 robots.txt 问题

源站收到并拒绝请求

检查应用权限和限流

一定由 Cloudflare 拦截

跳转到登录

检查路由保护

爬虫会完成交互登录

200 但正文是挑战或空壳

检查响应与渲染路径

200 就等于内容可读

没有匹配事件

检查时间范围、日志覆盖及路径

一个面板没记录就说明没请求

日志可能被采样或只保留有限时间,报告应说明证据能证明什么。

分清 Bot Fight Mode 与 Super Bot Fight Mode

Cloudflare 官方说明:WAF 自定义规则的 Skip 无法绕过 Bot Fight Mode;Super Bot Fight Mode 则支持通过 Ruleset Engine 设置限定例外。复制针对另一功能的规则,可能完全不生效。Cloudflare 排障文档

先识别实际拦截功能,再使用当前套餐支持的控制。不要因一次抓取失败关闭无关保护。需要例外时,将范围限制在已验证身份和预期公开路径,并保存原设置以便恢复。

创建例外前核实身份

user-agent 很容易被模仿。本机把自己声明为搜索机器人,只能测试这个字符串和本机来源地址的待遇,不能证明真实爬虫会怎样被处理。

使用提供商当前验证方法和 Cloudflare 可用的已验证机器人信息。OpenAI 爬虫文档区分搜索、训练与用户触发访问,应按角色设置策略。

允许搜索爬虫不保证收录或引用;训练访问也是独立决策,不是获得品牌推荐的可靠捷径。

一次改一项,并检查真实正文

保存配置后做针对性修改,再测试同一 URL。确认返回的是目标内容,重要文字和链接能被预期抓取流程读取,而不只是状态码正确。

随后观察真实爬虫再次访问的记录,对照变更时间与结果。无法复现原故障时,应把结果标记为诊断请求成功,而非已证实真实爬虫恢复。

可用 GEOly 审核修复流程组织发现。已连接 Cloudflare 时,爬虫与拦截证据可辅助排查;来自 AI 回答的访客则属于流量归因,两者不是同一指标。

常见问题

Allow 为什么仍然得到 403?

robots.txt 不覆盖边缘安全、限流或源站权限,应查明实际响应来源。

按 user-agent 放行可靠吗?

字符串本身不足以验证身份。应使用提供商验证方法和适用的安全控制。

curl 成功就证明修复了吗?

它能证明该测试请求的状态和内容。真实爬虫的恢复还需要后续日志或适当的提供商诊断证据。

看看你的品牌在 AI 搜索里的表现

GEOly 追踪 ChatGPT、Gemini、Google AI 如何提及、引用并推荐你的品牌,帮你赢下 AI 货架。

免费开始体验

免费试用 3 天 · 无需绑卡

在 Google 中将 GEOly 设为优先来源

领先消费品牌的共同选择

Anker SOLIX
eufy
soundcore
PLAUD
xTool
Ulike
Jackery
Roborock
Dreame
EcoFlow
Insta360
TCL
Beatbot
CASETiFY
Creality
Shokz
Segway
realme

12,000+ 品牌方正在用 GEOly 追踪并赢下 AI 搜索

从 Anker SOLIX 到 xTool——以上品牌已经在 GEOly 看到 ChatGPT、Gemini、Google AI 如何提及、引用并推荐它们。你的品牌此刻也正在被 AI 谈论,注册即可查看。

免费查看我的品牌 AI 表现

免费试用 3 天 · 无需绑卡