あなたの`robots.txt`ファイルは、ChatGPT、Claude、Perplexity、GoogleのAI回答があなたのブランドを見ることができるかどうかを決定します。このガイドを終える頃には、どのAIユーザーエージェントを許可またはブロックするべきかを正確に理解し、それぞれに対応するコピーペースト可能な`robots.txt`ブロックを手に入れ、ルールが実際にサーバーログで機能していることを確認する方法を知ることができます。
難しいのは、「すべてのAIボットをブロックする」というのが通常は間違った選択であるということです。AI回答を支えるクローラーをブロックすると、Googleの代わりに顧客が読む結果から静かにあなたが消えてしまう可能性があります。したがって、目指すべきは壁を作ることではなく、慎重なポリシーを設定することです。引用してくれるボットを歓迎し、単にデータを学習するだけのボットについては個別に判断します。
重要なポイント
- `robots.txt`はAIクローラーアクセスを制御する主要な手段ですが、これは任意のものです。良識のあるボットはこれに従いますが、この標準を無視するスクレーパーを止めることはできません。 - AIボットは2つの役割に分かれます：モデルを学習させるためのトレーニングボットと、回答を構築するためにライブページを取得する検索/RAGボットです。それぞれを異なる方法で扱う必要があります。 - `OAI-SearchBot`や`PerplexityBot`のような検索/RAGボットをブロックすると、これらが引用元として使用するAI回答からあなたが除外されます。これは直接的に可視性を失うことを意味します。 - `Google-Extended`はGemini/Vertexのトレーニングのみを制御します。これをブロックしても、通常の`Googlebot`を通じて提供されるGoogle AIオーバービューから除外されることはありません。 - 指示があるだけでは十分ではありません。ルールを信頼する前に、サーバーログで実際のボットの動作を確認してください。
ステップ1: 2種類のAIクローラーを理解する
何かを編集する前に、ボットがあなたのページで何をするのかで分類してください。
モデル学習ボットは、コンテンツをスクレイピングして大規模言語モデルを学習させます。このデータはモデルの静的知識の一部となります。含まれることで「ブランドXとは何か」といった一般的な回答に役立ちますが、引用が保証されるわけではありません。例：
- `GPTBot` — OpenAIのモデル学習 - `ClaudeBot`と`anthropic-ai` — Anthropicのモデル学習 - `Google-Extended` — Gemini/Vertex AIの学習 - `Applebot-Extended` — Apple Intelligenceの学習 - `CCBot` — 多くのモデルが学習に使用するCommon Crawlデータセット - `Bytespider` — ByteDanceのクローラー
AI検索/RAGボットは、回答を構築するためにライブページを取得し、根拠のある引用付きの回答を生成します。これらをブロックすることが、実際にAI回答からあなたを除外する行為です：
- `OAI-SearchBot` — OpenAIのChatGPT検索/ブラウジングフェッチャー - `PerplexityBot` — Perplexityのインデックス作成/回答クローラー - `Googlebot` — AIオーバービューやAIモードも処理
実用的なルール：検索/RAGボットには寛容に、トレーニングボットには慎重に。
ステップ2: `robots.txt`を見つけるまたは作成する
このファイルはドメインのルートに存在します：`https://yourdomain.com/robots.txt`。プレーンテキストで、`200`ステータスで提供される必要があります。
- カスタムサイトの場合、ウェブルートに`robots.txt`を追加または編集します。 - Shopifyでは、このファイルは生成されますが、テーマ内の`robots.txt.liquid`を通じて編集可能です。 - WordPressでは、SEOプラグイン（Yoast、Rank Mathなど）が通常仮想的な`robots.txt`を管理します。
各ルールセットは`User-agent`行で始まり、その後に`Allow`および`Disallow`パスが続きます。`Disallow: /`はすべてをブロックし、`Allow: /`（または`Disallow`なし）はすべてを許可します。
ステップ3: 引用するAI検索ボットを許可する
GEOの可視性を目指す場合、引用付き回答を構築するフェッチャーを明示的に許可してください。このブロックは、サイト全体でそれらを許可します：
``` User-agent: OAI-SearchBot Allow: /
User-agent: PerplexityBot Allow: /
User-agent: Googlebot Allow: / ```
`OAI-SearchBot`をブロックするサイトは、どれだけコンテンツが優れていても、ChatGPTの引用付きウェブ結果に引き込まれることはありません。これをブロックしないことが、ファイル内で最も重要なGEOの決定です。
ステップ4: トレーニングボットに関するポリシーを決定する
これはデフォルトではなく、判断が必要です。トレーニングボットを許可することは、ブランドの事実、ポジショニング、製品名がモデルの世界知識に組み込まれることを意味し、無意識のブランド想起に役立ちます。一方で、これをブロックすることで、帰属なしに吸収されることから独自性や高価値のコンテンツを保護できます。
トレーニングボットをすべて許可するには、何もしないでください—指示がなければ許可されます。ブロックするには、明示的なブロックを追加してください：
``` User-agent: GPTBot Disallow: /
User-agent: ClaudeBot Disallow: /
