# robots.txtで許可してもCloudflareがAIクローラーを遮断する理由

- Canonical: https://www.geoly.ai/jp/blog/waf-blocking-ai-crawlers
- Published: 2026-11-21
- Updated: 2026-11-21
- Author: [GEOly AI](https://www.geoly.ai/jp/blog/author/geoly-ai)
- Tags: [GEO](https://www.geoly.ai/jp/blog/tag/geo), [technical-seo](https://www.geoly.ai/jp/blog/tag/technical-seo), [ai-crawlers](https://www.geoly.ai/jp/blog/tag/ai-crawlers)

> **Summary:** 403の発生箇所をログと応答で特定し、Bot設定とオリジンを区別して修正します。

robots.txtのAllowはCloudflareやオリジンのアクセス制御を上書きしません。403、チャレンジ、読めないページが返る場合は、どの層が応答したかを先に調べます。公開対象へのアクセスを回復しつつ、その他の保護は維持します。

## 重要なポイント

- robots.txtはファイアウォールの例外ではありません。
- エッジとオリジンの問題を証拠で区別します。
- user-agentだけでは本人確認になりません。
- 修正後はステータスだけでなく本文も確認します。

## 障害記録を保存する

対象URL、時刻、ステータス、ヘッダー、本文、取得できるRay IDを記録します。実クローラーのログ、自分の診断、モニタリングサービスを区別します。

200でもチャレンジや空のアプリ画面の場合があり、403がオリジンから返ることもあります。[robots.txtガイド](https://www.geoly.ai/jp/blog/configure-robots-txt-ai)で意図した方針を確認し、ネットワーク拒否に対してファイルを何度も書き換えないでください。

## 実際に処理した機能を探す

Cloudflareのイベントを時刻、ホスト、パス、Ray IDで照合し、アクション、規則ID、サービスを保存します。オリジンのログとも比較します。

| 証拠 | 次の調査 | 早合点しないこと |
| --- | --- | --- |
| 一致するエッジイベント | 該当規則やBot制御 | 全403がrobots.txt原因 |
| オリジンが受信して拒否 | アプリ権限と制限 | 必ずCloudflareが原因 |
| ログインへ転送 | ルート保護 | クローラーがログインを完了する |
| 200だが空やチャレンジ | 本文と描画経路 | 200なら読める |
| イベントが見つからない | 時間、保存範囲、経路 | リクエスト自体がなかった |

ログのサンプリングや保存期間による限界も説明します。

## Botの機能を区別する

Cloudflareによると、WAFカスタム規則のSkipではBot Fight Modeを回避できません。一方、Super Bot Fight ModeではRuleset Engineを通じた範囲限定の例外が使えます。対象を誤ると規則が効きません。[公式トラブルシューティング](https://developers.cloudflare.com/bots/troubleshooting/false-positives/)

実際の遮断機能と契約で使える制御を確認し、無関係な保護を無効化しないでください。必要な例外は確認済みの主体と公開パスに限定し、元の設定を保存します。

## 例外を作る前に身元を確認する

user-agentは模倣できます。本機でクローラー名を設定しても、その文字列と自分の送信元への応答を調べるだけです。提供者の現在の検証方法と利用可能なverified bot情報を使います。

[OpenAIの文書](https://developers.openai.com/api/docs/bots)は検索、訓練、ユーザー操作による取得を区別しています。検索許可は引用保証ではなく、訓練許可も推薦改善の確実な近道ではありません。

## 一つずつ変更して本文まで確認する

設定を保存し、原因に絞って変更して同じURLを試します。必要な文字とリンクを含む本来のページが返るかを確認します。

その後の実クローラーアクセスを変更時刻と照合します。実例を確認できなければ「診断成功」であって「実クローラー復旧確認済み」ではありません。

[GEOlyの監査修正手順](https://www.geoly.ai/open/mcp/use-cases/geo-audit-fix-list)で整理できます。Cloudflare接続のログはアクセス診断、AI回答からの訪問は[流入帰属](https://www.geoly.ai/jp/blog/ai-traffic-attribution)という別の測定です。

## FAQ: よくある質問

### Allowなのに403になるのはなぜですか？

エッジ制御、制限、オリジン権限が独立して拒否できるためです。

### user-agentで許可すれば十分ですか？

文字列だけでは信頼できる識別になりません。現在の検証方法を使ってください。

### curl成功で修復済みといえますか？

そのテストは確認できますが、実クローラーには後続ログや適切な提供者診断が必要です。
