robots.txtで許可してもCloudflareがAIクローラーを遮断する理由

概要

403の発生箇所をログと応答で特定し、Bot設定とオリジンを区別して修正します。

目次

robots.txtのAllowはCloudflareやオリジンのアクセス制御を上書きしません。403、チャレンジ、読めないページが返る場合は、どの層が応答したかを先に調べます。公開対象へのアクセスを回復しつつ、その他の保護は維持します。

重要なポイント

  • robots.txtはファイアウォールの例外ではありません。
  • エッジとオリジンの問題を証拠で区別します。
  • user-agentだけでは本人確認になりません。
  • 修正後はステータスだけでなく本文も確認します。

障害記録を保存する

対象URL、時刻、ステータス、ヘッダー、本文、取得できるRay IDを記録します。実クローラーのログ、自分の診断、モニタリングサービスを区別します。

200でもチャレンジや空のアプリ画面の場合があり、403がオリジンから返ることもあります。robots.txtガイドで意図した方針を確認し、ネットワーク拒否に対してファイルを何度も書き換えないでください。

実際に処理した機能を探す

Cloudflareのイベントを時刻、ホスト、パス、Ray IDで照合し、アクション、規則ID、サービスを保存します。オリジンのログとも比較します。

証拠

次の調査

早合点しないこと

一致するエッジイベント

該当規則やBot制御

全403がrobots.txt原因

オリジンが受信して拒否

アプリ権限と制限

必ずCloudflareが原因

ログインへ転送

ルート保護

クローラーがログインを完了する

200だが空やチャレンジ

本文と描画経路

200なら読める

イベントが見つからない

時間、保存範囲、経路

リクエスト自体がなかった

ログのサンプリングや保存期間による限界も説明します。

Botの機能を区別する

Cloudflareによると、WAFカスタム規則のSkipではBot Fight Modeを回避できません。一方、Super Bot Fight ModeではRuleset Engineを通じた範囲限定の例外が使えます。対象を誤ると規則が効きません。公式トラブルシューティング

実際の遮断機能と契約で使える制御を確認し、無関係な保護を無効化しないでください。必要な例外は確認済みの主体と公開パスに限定し、元の設定を保存します。

例外を作る前に身元を確認する

user-agentは模倣できます。本機でクローラー名を設定しても、その文字列と自分の送信元への応答を調べるだけです。提供者の現在の検証方法と利用可能なverified bot情報を使います。

OpenAIの文書は検索、訓練、ユーザー操作による取得を区別しています。検索許可は引用保証ではなく、訓練許可も推薦改善の確実な近道ではありません。

一つずつ変更して本文まで確認する

設定を保存し、原因に絞って変更して同じURLを試します。必要な文字とリンクを含む本来のページが返るかを確認します。

その後の実クローラーアクセスを変更時刻と照合します。実例を確認できなければ「診断成功」であって「実クローラー復旧確認済み」ではありません。

GEOlyの監査修正手順で整理できます。Cloudflare接続のログはアクセス診断、AI回答からの訪問は流入帰属という別の測定です。

FAQ: よくある質問

Allowなのに403になるのはなぜですか?

エッジ制御、制限、オリジン権限が独立して拒否できるためです。

user-agentで許可すれば十分ですか?

文字列だけでは信頼できる識別になりません。現在の検証方法を使ってください。

curl成功で修復済みといえますか?

そのテストは確認できますが、実クローラーには後続ログや適切な提供者診断が必要です。

AI検索でブランドを際立たせる

GEOlyは、ChatGPT、Gemini、Google AIがどのようにあなたのブランドを言及し、引用し、推奨しているかを追跡し、AI市場での成功をサポートします。

無料トライアルを開始

3日間の無料トライアル · カード登録不要

Add GEOly as a preferred source on Google

主要な消費者ブランドに信頼されています

Anker SOLIX
eufy
soundcore
PLAUD
xTool
Ulike
Jackery
Roborock
Dreame
EcoFlow
Insta360
TCL
Beatbot
CASETiFY
Creality
Shokz
Segway
realme

12,000+ ブランドがGEOlyでAI検索を追跡し成功を収める

Anker SOLIXからxToolまで — 上記のブランドはすでにChatGPT、Gemini、Google AIがどのように彼らを言及し、引用し、推奨しているかを確認しています。あなたのブランドも今、AIで話題になっています。確認してみてください。

AIでのブランドを確認 — 無料

3日間の無料トライアル · カード登録不要