Ihre `robots.txt`-Datei entscheidet jetzt, ob ChatGPT, Claude, Perplexity und die KI-Antworten von Google Ihre Marke sehen können. Am Ende dieses Leitfadens wissen Sie genau, welche KI-User-Agents Sie zulassen oder blockieren sollten, haben kopierbare `robots.txt`-Blöcke für jeden und wissen, wie Sie die Regeln in Ihren Serverprotokollen überprüfen können.
Das Schwierige daran ist, dass "alle KI-Bots blockieren" in der Regel die falsche Entscheidung ist. Das Blockieren der Crawler, die KI-Antworten ermöglichen, kann Sie stillschweigend aus den Ergebnissen entfernen, die Ihre Kunden jetzt lesen, anstatt Google zu nutzen. Das Ziel ist also keine Mauer – es ist eine durchdachte Strategie: Begrüßen Sie die Bots, die Sie zitieren, und entscheiden Sie im Einzelfall über diejenigen, die nur auf Ihren Inhalten trainieren.
Wichtige Erkenntnisse
- `robots.txt` ist die primäre Kontrolle für den Zugriff von KI-Crawlern, aber sie ist freiwillig – gut programmierte Bots halten sich daran, und sie stoppt keine Scraper, die den Standard ignorieren. - KI-Bots teilen sich in zwei Aufgaben auf: Trainings-Bots, die das statische Wissen eines Modells füttern, und Such-/RAG-Bots, die Live-Seiten abrufen, um eine Antwort zu erstellen. Behandeln Sie sie unterschiedlich. - Das Blockieren von Such-/RAG-Bots wie `OAI-SearchBot` und `PerplexityBot` entfernt Sie aus den KI-Antworten, in denen Quellen zitiert werden – dies kostet Sie direkt Sichtbarkeit. - `Google-Extended` steuert nur das Training von Gemini/Vertex; es entfernt Sie nicht aus den Google-KI-Übersichten, die über den normalen `Googlebot` bereitgestellt werden. - Eine Anweisung ist kein Beweis. Bestätigen Sie das tatsächliche Verhalten von Bots in Serverprotokollen, bevor Sie einer Regel vertrauen.
Schritt 1: Verstehen Sie die zwei Arten von KI-Crawlern
Bevor Sie etwas bearbeiten, sortieren Sie die Bots nach dem, was sie mit Ihren Seiten tun.
Model-Trainings-Bots scrapen Inhalte, um große Sprachmodelle zu trainieren. Die Daten werden Teil des statischen Wissens des Modells. Eingeschlossen zu sein, hilft bei allgemeinen Antworten wie "Was ist Marke X", garantiert jedoch keine Zitierung. Beispiele:
- `GPTBot` – OpenAI-Modelltraining - `ClaudeBot` und `anthropic-ai` – Anthropic-Modelltraining - `Google-Extended` – Gemini/Vertex-KI-Training - `Applebot-Extended` – Apple-Intelligence-Training - `CCBot` – Common Crawl, ein Datensatz, auf dem viele Modelle trainieren - `Bytespider` – ByteDance-Crawler
KI-Such-/RAG-Bots rufen Live-Seiten zum Zeitpunkt der Antwort ab, um eine fundierte, zitierte Antwort zu erstellen. Das Blockieren dieser Bots entfernt Sie tatsächlich aus den KI-Antworten:
- `OAI-SearchBot` – OpenAIs ChatGPT-Such-/Browsing-Fetcher - `PerplexityBot` – Perplexitys Indexierungs-/Antwort-Crawler - `Googlebot` – rendert auch KI-Übersichten und den KI-Modus
Die praktische Regel: Seien Sie großzügig mit Such-/RAG-Bots, seien Sie überlegt mit Trainings-Bots.
