AIボットアクセスチェッカー
GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extendedなど、どのAIクローラーやショッピングエージェントがrobots.txtで許可またはブロックされているかを一目で確認できます。誤ってブロックすると、AIにとって見えなくなります。
AIボットアクセスチェッカーの仕組み
ボットアクセスが重要な理由
AIショッピングは発見から始まり、発見はあなたのrobots.txtから始まります。GPTBot、Google-Extended、ClaudeBotが禁止されている場合、AI回答やエージェント型棚から静かに消えてしまいます — 完璧なUCPマニフェストがあっても、エージェントがクロールできなければ役に立ちません。
このツールはあなたのrobots.txtを取得し、主要なAIユーザーエージェントがサイトのルートにアクセスできるかどうかを評価します。これらは、回答/検索エンジン、エージェント型ショッピングエージェント、トレーニングクローラーによってグループ化されています。トレーニングクローラーをブロックすることは意図的である場合がありますが、回答やショッピングエージェントをブロックすることは通常ありません。
ヒント
- ✓回答＆ショッピングエージェントをブロックしないでください: OAI-SearchBot、PerplexityBot、Google-Extended、ClaudeBot、Marinerは、AIからのトラフィックと注文を促進します。これらを許可してください。
- ✓トレーニングボットをブロックするのは有効な選択肢です: コンテンツをトレーニングセットから除外したい場合は、GPTBot/CCBot/Bytespiderをブロックし、検索エージェントは許可するようにしてください。
- ✓CDNの変更後に確認してください: Cloudflare、Vercel、WAFルールは、robots.txtで許可されている場合でもAIボットをブロックする可能性があります。インフラの変更後に再確認してください。
AIボットアクセスチェッカー — FAQ
GPTBotがブロックされるとどうなりますか？+
GPTBotや他のAIクローラーがあなたのページを取得できない場合、あなたのストアはAI回答やエージェント型ショッピングの表面に表示されなくなります — 買い物客が移行している場所で見えなくなります。
ボットカテゴリの違いは何ですか？+
回答/検索ボットはAI検索や引用を支えます。ショッピングエージェントはコマースの表面で行動します。トレーニングクローラーはモデルトレーニングのためのデータを収集します。トレーニングボットをブロックすることで、AI検索の可視性を損なうことなくコンテンツを保護できます。
CDNやファイアウォールのブロックも確認されますか？+
このツールはrobots.txtのルールを評価します。CDN/WAFのブロック（Cloudflare、Vercel）は、robots.txtで許可されていてもボットを停止させる可能性があります — インフラの変更後にそれらを別途確認してください。
これは無料ですか？+
はい、無料でサインアップも不要です。