AI Bot-Zugriffsprüfer
Sehen Sie auf einen Blick, welche AI-Crawler und Shopping-Agenten Ihre robots.txt zulässt oder blockiert — GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended und mehr. Ein versehentliches Blockieren macht Sie für AI unsichtbar.
Wie der AI Bot-Zugriffsprüfer funktioniert
Warum Bot-Zugriff wichtig ist
AI-Shopping beginnt mit der Entdeckung, und die Entdeckung beginnt mit Ihrer robots.txt. Wenn GPTBot, Google-Extended oder ClaudeBot blockiert sind, verschwinden Sie stillschweigend aus AI-Antworten und agentischen Regalen — selbst ein perfektes UCP-Manifest hilft nicht, wenn Agenten Sie nicht crawlen können.
Dieses Tool ruft Ihre robots.txt ab und bewertet, ob jeder wichtige AI-User-Agent Ihre Website erreichen kann, gruppiert nach ihrer Funktion: Antwort-/Suchmaschinen, agentische Shopping-Agenten und Trainings-Crawler. Das Blockieren von Trainings-Crawlern kann beabsichtigt sein; das Blockieren von Antwort- und Shopping-Agenten normalerweise nicht.
Tipps
- ✓Blockieren Sie keine Antwort- & Shopping-Agenten: OAI-SearchBot, PerplexityBot, Google-Extended, ClaudeBot und Mariner treiben AI-vermittelten Traffic und Bestellungen an. Lassen Sie sie zu.
- ✓Das Blockieren von Trainings-Bots ist eine gültige Wahl: Wenn Sie Inhalte nur aus Trainingssätzen fernhalten möchten, blockieren Sie GPTBot/CCBot/Bytespider, während Sie die Suchagenten weiterhin zulassen.
- ✓Prüfen Sie nach jeder Änderung an der CDN: Cloudflare, Vercel und WAF-Regeln können AI-Bots blockieren, selbst wenn robots.txt sie zulässt. Überprüfen Sie nach Infrastrukturänderungen erneut.
AI Bot-Zugriffsprüfer — FAQ
Warum wäre es wichtig, wenn GPTBot blockiert ist?+
Wenn GPTBot und andere AI-Crawler Ihre Seiten nicht abrufen können, wird Ihr Shop nicht in AI-Antworten und agentischen Shopping-Oberflächen vertreten — Sie werden unsichtbar, genau dort, wo sich Käufer hinbewegen.
Was ist der Unterschied zwischen den Bot-Kategorien?+
Antwort-/Such-Bots treiben AI-Suche und Zitate an; Shopping-Agenten agieren auf Handelsoberflächen; Trainings-Crawler sammeln Daten für das Modelltraining. Das Blockieren von Trainings-Bots schützt Inhalte, ohne die Sichtbarkeit in AI-Suchen zu beeinträchtigen.
Prüft dies CDN- oder Firewall-Blockierungen?+
Es bewertet robots.txt-Regeln. CDN/WAF-Blockierungen (Cloudflare, Vercel) können Bots ebenfalls stoppen, selbst wenn robots.txt sie zulässt — prüfen Sie diese separat nach Infrastrukturänderungen.
Ist es kostenlos?+
Ja, kostenlos und ohne Anmeldung erforderlich.