12.000+ Marken verfolgen & gewinnen KI-Suche mit GEOly
Von Anker SOLIX bis xTool — die oben genannten Marken sehen bereits, wie ChatGPT, Gemini und Perplexity sie erwähnen, zitieren und empfehlen. Ihre Marke wird gerade in der KI diskutiert. Sehen Sie es.
Kostenlos starten · Keine Kreditkarte erforderlich
Was sind AI-Crawler? GPTBot, ClaudeBot & mehr (2026) | GEOly | GEO-Datenplattform für DTC-Marken
Was sind AI-Crawler? GPTBot, ClaudeBot und die Bots hinter der AI-Suche (2026)
Zusammenfassung
AI-Crawler sind Bots von OpenAI, Anthropic, Google und Perplexity, die Webinhalte abrufen, um Modelle zu trainieren oder Live-Antworten bereitzustellen – und Ihre robots.txt-Richtlinie gegenüber ihnen entscheidet, ob Ihre Marke in der AI-Suche existiert.
2026/07/05
7 Min. Lesezeit
Aktualisiert 2026/07/13
AI crawlers are automated bots run by AI companies — GPTBot from OpenAI, ClaudeBot from Anthropic, PerplexityBot, and a fast-growing list of others — that fetch web content either to train large language models or to retrieve pages in real time when an AI engine answers a question. Where Googlebot indexes URLs so pages can rank as links, AI crawlers determine whether your brand exists inside ChatGPT, Gemini, Perplexity, and Google AI Overviews at all. How you handle them in robots.txt has become one of the most consequential technical decisions in Generative Engine Optimization (GEO).
Key takeaways
AI crawlers come in three types: training bots that feed future models (GPTBot, ClaudeBot), search-index bots that power AI search (OAI-SearchBot, PerplexityBot), and user-triggered fetchers that grab pages live (ChatGPT-User, Perplexity-User).
Blocking a training bot keeps your content out of future model versions. Blocking a search bot removes you from AI answers today. Brands competing for AI visibility should almost always allow the search and retrieval bots.
Google-Extended controls Gemini training and grounding, but it does not remove you from AI Overviews — those run on ordinary Googlebot crawling.
Robots.txt is a policy signal, not a wall: user-triggered fetchers often ignore it, and some crawlers have a poor compliance record.
Audit before you assume: Cloudflare has blocked known AI crawlers by default for new domains since mid-2025, so many brands are invisible to AI engines without ever choosing to be.
Three jobs, three kinds of crawler
Googlebot has one job: map the web so pages can rank. AI crawlers do three different jobs, and each changes what you get back.
Training bots collect large corpora for future model versions. GPTBot, ClaudeBot, and Meta-ExternalAgent sit here, along with CCBot from the nonprofit Common Crawl, whose dataset many AI labs reuse. Content crawled today may not influence answers for months, until the next model ships.
Search-index bots build the retrieval indexes behind AI search. OAI-SearchBot powers ChatGPT search, Claude-SearchBot feeds Claude's web search, and PerplexityBot builds Perplexity's index. These bots decide whether you can be cited in an answer this week.
User-triggered fetchers retrieve one specific page because a person asked. ChatGPT-User, Claude-User, and Perplexity-User fire when a question requires a live look at your site — the retrieval step behind grounding queries.
The output differs too. A traditional crawl earns a ranked link and maybe a click. An AI crawl earns citations and brand mentions inside a synthesized answer — the currency of zero-click search.
The AI crawlers to know in 2026
OpenAI
GPTBot collects training data for future GPT models. OAI-SearchBot crawls for ChatGPT search and, per OpenAI's bot documentation, is not used for training. ChatGPT-User fetches pages live during a conversation. The practical split: blocking GPTBot affects future models; blocking OAI-SearchBot removes you from ChatGPT search results now.
Anthropic
ClaudeBot is the training crawler, Claude-SearchBot indexes content for Claude's web search, and Claude-User handles user-initiated fetches. The Claude-Web agent you may still see in older guides has been retired.
Google
Googlebot remains the workhorse, and it also feeds AI Overviews and AI Mode. Google-Extended is a control token, not a separate crawler: disallowing it stops your content from training Gemini and being used for grounding, but per Google's crawler documentation it affects neither Search rankings nor AI Overviews. Opting out of AI Overviews requires snippet controls or leaving Google's index entirely.
Perplexity
PerplexityBot builds the index behind Perplexity's answer engine. Perplexity-User fetches pages when a question needs live web access — and because a human initiated the request, Perplexity states it generally does not honor robots.txt.
Everyone else worth logging
Applebot powers Siri and Spotlight; Applebot-Extended is Apple's opt-out token for AI training only.
Amazonbot feeds Alexa and Amazon's shopping AI, including Rufus.
Bytespider, ByteDance's crawler, has a long record of aggressive crawling and weak robots.txt compliance.
CCBot crawls for Common Crawl; blocking it removes you from a public dataset many labs train on at once.
Cross-platform visibility matrix comparing brand mentions across ChatGPT, Gemini, Google AI Overview, AI Mode and Perplexity — Source: GEOly AI (app.geoly.ai)
How to set your robots.txt policy
The mechanics are simple — one user-agent group per bot, such as User-agent: GPTBot followed by Disallow: / to block it, or no disallow rule to permit it. The strategy is where brands go wrong. Three coherent postures exist.
Open: allow everything. The default GEO posture for most DTC brands — you want models to learn your products and engines to cite your pages.
Selective: allow the search and user bots (OAI-SearchBot, PerplexityBot, Claude-SearchBot) while disallowing the training bots (GPTBot, ClaudeBot, CCBot, Meta-ExternalAgent). Publishers negotiating content licensing use this to stay citable without donating training data.
Closed: disallow all AI bots. Your content stays out of the machine, but AI assistants still talk about your category — describing your brand from stale training data and third-party sources you don't control. For a commercial brand, that trade is rarely worth it.
Whichever posture you pick, pair robots.txt with an llms.txt file that hands AI crawlers a clean map of your key pages, and make sure your structured data is server-rendered — most AI crawlers do not execute JavaScript.
Monitoring crawler access — and what it actually earns you
Starten Sie am Server: Filtern Sie Protokolle oder CDN-Analysen nach den oben genannten User-Agent-Strings und überprüfen Sie die Antwortcodes, nicht nur die Besuche — ein Crawler, der 403-Antworten erhält, liest nichts. Spoofing ist häufig, daher sollten Sie verdächtigen Traffic mit den offiziellen IP-Bereichen abgleichen, die die großen Labore veröffentlichen. Und da Cloudflare standardmäßig bekannte AI-Crawler für neue Domains blockiert, beweist "wir haben nie jemanden blockiert" nicht mehr, dass Ihre Seite crawlbar ist.
Crawler-Zugriff ist nur der Input; das Ergebnis, das für Sie zählt, ist, ob Suchmaschinen Sie erwähnen und zitieren. Das ist die Sequenz, um die GEOly AI aufgebaut ist: ein 29-Punkte-GEO-Auditdeckt die Zugriffsmechanik ab (pro-Bot robots.txt-Regeln, llms.txt-Präsenz, Renderfähigkeit), dann überwacht das Eigenmarken-Monitoring das nachgelagerte Ergebnis — ein AIGVR-Sichtbarkeits-Score, Erwähnungs- und Zitationsraten über sieben Suchmaschinen hinweg und welche Domains diese Suchmaschinen tatsächlich in Ihrer Kategorie zitieren. Ein Muster, das wir oft in Audits sehen: GPTBotwird in robots.txt sorgfältig erlaubt, während eine WAF-Regel OAI-SearchBotstill einen 403 liefert — perfekte Trainings-Bot-Hygiene, null Präsenz in der ChatGPT-Suche. Der Leitfaden zu AI-Suchmetrikenzeigt, wie diese KPIs zusammenhängen; die GEOly AI-Übersichtdeckt die gesamte Plattform ab (kostenlose 3-Tage-Testversion unter app.geoly.ai).
Citation source analysis: source type distribution and the domains AI engines cite most — Source: GEOly AI (app.geoly.ai)
Häufige Fehler
Annahme, dass Google-ExtendedSie von AI Overviews abmeldet. Das tut es nicht — AI Overviews basieren auf Googlebot.
Pauschale Anti-Bot-Regeln (WAF-Richtlinien, Ratenbegrenzungen, Standard-CDN-Einstellungen), die AI-Suchbots mit einem 403 blockieren, ohne dass es jemand bemerkt.
robots.txt als Durchsetzung behandeln. Es ist eine Anfrage; von Nutzern ausgelöste Abrufe und schlecht programmierte Crawler rufen die Seite trotzdem ab.
Ignorieren von CCBot. Common Crawl speist viele Trainingspipelines gleichzeitig, sodass diese eine Entscheidung ein ungewöhnlich hohes Gewicht hat.
Alle AI-Crawler blockieren und sich dann wundern, warum ChatGPT Ihre Produkte falsch beschreibt. Modelle greifen auf veraltete, Drittanbieterdaten zurück, wenn sie Ihre Seite nicht lesen können.
FAQ
Sollte ich GPTBot auf meiner Seite blockieren?
Für die meisten kommerziellen Marken: nein. Das Blockieren von GPTBothält Ihre Inhalte aus zukünftigen OpenAI-Modellen heraus, was bedeutet, dass das nächste ChatGPT über Ihre Kategorie von Wettbewerbern und Drittanbietern lernt, anstatt von Ihnen. Blockieren macht hauptsächlich für Verlage Sinn, deren Inhalte das Produkt sind und die Lizenzvereinbarungen anstreben.
Respektieren AI-Crawler robots.txt?
Die großen Trainings- und Suchbots — GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot — verpflichten sich öffentlich, dies zu respektieren, und tun dies in der Regel auch. Von Nutzern ausgelöste Abrufe wie Perplexity-Usertun dies oft nicht, absichtlich, da ein Mensch die Seite angefordert hat, und Bytespiderhat eine notorisch schwache Bilanz. Überprüfen Sie Ihre Protokolle, anstatt der Richtlinie zu vertrauen.
Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?
GPTBotsammelt Trainingsdaten für zukünftige Modelle; seine Wirkung zeigt sich erst Monate später, wenn überhaupt. OAI-SearchBotbaut den Index hinter der ChatGPT-Suche auf, sodass das Blockieren ihn sofort aus zitierbaren Ergebnissen entfernt. Sie können sie in robots.txt unabhängig voneinander erlauben oder blockieren.
Wie erkenne ich, ob AI-Crawler meine Seite besuchen?
Filtern Sie Serverprotokolle oder CDN-Analysen nach den User-Agent-Strings (GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot) und bestätigen Sie, dass sie 200-Antworten erhalten. Messen Sie dann die nachgelagerte Wirkung: Das Verfolgen Ihrer Marken-Erwähnungen in der AI-Suchezeigt Ihnen, ob das Crawling in Antworten und Zitationen umgewandelt wird.
