🔥 0 Personen haben dieses Tool verwendet
Robots.txt-Generator
Erstellen Sie eine benutzerdefinierte robots.txt-Datei für Ihre Website. Wählen Sie aus Vorlagen oder erstellen Sie eigene Regeln.
Schnellvorlagen
User-Agent: *
Erlauben
Verbieten
Crawl-Verzögerung (Sekunden)
Sitemap-URL
Bevorzugter Host
Generierte robots.txt
# Robots.txt generated by GEOly.ai
# https://geoly.ai/free-tools/robots-txt-generator
User-agent: *
Allow: /So funktioniert es & Robots.txt-Leitfaden
Was ist robots.txt?
Die robots.txt-Datei ist eine Textdatei, die im Root-Verzeichnis Ihrer Website platziert wird (z. B. example.com/robots.txt) und Suchmaschinen-Crawlern mitteilt, welche Seiten sie zugreifen dürfen oder nicht.
Sie folgt dem Robots Exclusion Protocol und ist die erste Datei, die Crawler überprüfen, bevor sie Ihre Website indexieren. Eine gut konfigurierte robots.txt hilft, das Crawl-Budget zu verwalten und sensible Bereiche zu schützen.
Konfigurationstipps
- ✓Crawl-Budget: Verwenden Sie Verbotsregeln, um zu verhindern, dass Crawler Zeit mit wenig wertvollen Seiten wie Admin-Panels, Suchergebnissen oder doppelten Inhalten verschwenden.
- ✓AI-Bot-Steuerung: Blockieren Sie AI-Trainings-Crawler wie GPTBot, CCBot und Google-Extended, um zu verhindern, dass Ihre Inhalte für AI-Trainingsdaten verwendet werden.
- ✓Sitemap immer hinzufügen: Fügen Sie Ihre Sitemap-URL in robots.txt ein, damit Suchmaschinen alle wichtigen Seiten effizient entdecken können.