🔥 已有 0 人使用了该工具
AI Bot Access Checker
一眼看清你的 robots.txt 放行或拦截了哪些 AI 爬虫与购物 agent —— GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended 等。误拦会让你对 AI 隐形。
AI Bot Access Checker 工作原理
为什么 bot 访问重要
AI 购物始于发现，而发现始于你的 robots.txt。若 GPTBot、Google-Extended 或 ClaudeBot 被 disallow，你会悄悄从 AI 答案和 agentic 货架上消失 —— 就算 UCP manifest 再完美，agent 爬不到你也白搭。
本工具抓取你的 robots.txt，按用途分组评估各主流 AI user-agent 能否触达站点根：回答/搜索引擎、agentic 购物 agent、训练爬虫。拦训练爬虫可能是有意为之；拦回答与购物 agent 通常不是。
小贴士
- ✓别拦回答与购物 agent: OAI-SearchBot、PerplexityBot、Google-Extended、ClaudeBot、Mariner 带来 AI 引荐流量与订单，放行它们。
- ✓拦训练 bot 是合理选择: 若只想让内容不进训练集，可拦 GPTBot/CCBot/Bytespider，同时放行搜索类 agent。
- ✓每次改 CDN 后复检: Cloudflare、Vercel、WAF 规则可能在 robots.txt 放行的情况下仍拦 bot。基建变更后要复检。
AI Bot Access Checker 常见问题
GPTBot 被拦为什么要紧？+
若 GPTBot 等 AI 爬虫抓不到你的页面，你的店铺就不会出现在 AI 答案和 agentic 购物页面里 —— 恰好在购物者迁移的地方，你隐形了。
这些 bot 分类有何区别？+
回答/搜索 bot 驱动 AI 搜索与引用；购物 agent 在商业页面上操作；训练爬虫为模型训练采集数据。拦训练 bot 能在不伤 AI 搜索可见度的前提下保护内容。
会检测 CDN 或防火墙拦截吗？+
本工具评估 robots.txt 规则。CDN/WAF（Cloudflare、Vercel）也可能在 robots.txt 放行时拦 bot —— 基建变更后请另行检查。
免费吗？+
免费，无需注册。