robots.txtのAllowはCloudflareやオリジンのアクセス制御を上書きしません。403、チャレンジ、読めないページが返る場合は、どの層が応答したかを先に調べます。公開対象へのアクセスを回復しつつ、その他の保護は維持します。
重要なポイント
- robots.txtはファイアウォールの例外ではありません。
- エッジとオリジンの問題を証拠で区別します。
- user-agentだけでは本人確認になりません。
- 修正後はステータスだけでなく本文も確認します。
障害記録を保存する
対象URL、時刻、ステータス、ヘッダー、本文、取得できるRay IDを記録します。実クローラーのログ、自分の診断、モニタリングサービスを区別します。
200でもチャレンジや空のアプリ画面の場合があり、403がオリジンから返ることもあります。robots.txtガイドで意図した方針を確認し、ネットワーク拒否に対してファイルを何度も書き換えないでください。
実際に処理した機能を探す
Cloudflareのイベントを時刻、ホスト、パス、Ray IDで照合し、アクション、規則ID、サービスを保存します。オリジンのログとも比較します。
証拠 | 次の調査 | 早合点しないこと |
|---|---|---|
一致するエッジイベント | 該当規則やBot制御 | 全403がrobots.txt原因 |
オリジンが受信して拒否 | アプリ権限と制限 | 必ずCloudflareが原因 |
ログインへ転送 | ルート保護 | クローラーがログインを完了する |
200だが空やチャレンジ | 本文と描画経路 | 200なら読める |
イベントが見つからない | 時間、保存範囲、経路 | リクエスト自体がなかった |
ログのサンプリングや保存期間による限界も説明します。
Botの機能を区別する
Cloudflareによると、WAFカスタム規則のSkipではBot Fight Modeを回避できません。一方、Super Bot Fight ModeではRuleset Engineを通じた範囲限定の例外が使えます。対象を誤ると規則が効きません。公式トラブルシューティング
実際の遮断機能と契約で使える制御を確認し、無関係な保護を無効化しないでください。必要な例外は確認済みの主体と公開パスに限定し、元の設定を保存します。
例外を作る前に身元を確認する
user-agentは模倣できます。本機でクローラー名を設定しても、その文字列と自分の送信元への応答を調べるだけです。提供者の現在の検証方法と利用可能なverified bot情報を使います。
OpenAIの文書は検索、訓練、ユーザー操作による取得を区別しています。検索許可は引用保証ではなく、訓練許可も推薦改善の確実な近道ではありません。
一つずつ変更して本文まで確認する
設定を保存し、原因に絞って変更して同じURLを試します。必要な文字とリンクを含む本来のページが返るかを確認します。
その後の実クローラーアクセスを変更時刻と照合します。実例を確認できなければ「診断成功」であって「実クローラー復旧確認済み」ではありません。
GEOlyの監査修正手順で整理できます。Cloudflare接続のログはアクセス診断、AI回答からの訪問は流入帰属という別の測定です。
FAQ: よくある質問
Allowなのに403になるのはなぜですか?
エッジ制御、制限、オリジン権限が独立して拒否できるためです。
user-agentで許可すれば十分ですか?
文字列だけでは信頼できる識別になりません。現在の検証方法を使ってください。
curl成功で修復済みといえますか?
そのテストは確認できますが、実クローラーには後続ログや適切な提供者診断が必要です。