Cloudflare hat eine Crawl-API eingeführt, mit der Entwickler eine gesamte Website mit einem einzigen API-Aufruf crawlen können. Die API ist in der offenen Beta über den neuen /crawl-Endpunkt von Browser Rendering verfügbar. Sie nimmt eine Start-URL, entdeckt automatisch Seiten, rendert sie in einem Headless-Browser und gibt den Inhalt in HTML, Markdown oder strukturiertem JSON zurück. Die mühsame Arbeit, die früher Wochen verschlang — Proxys, CAPTCHAs, Paginierung, Parsing — wird auf eine einzige Anfrage reduziert. Für alle, die darüber nachdenken, wie Markeninhalte von KI aufgenommen werden, hat dieser Komfort zwei Seiten.
Wichtige Erkenntnisse
- Die Crawl-API von Cloudflare crawlt eine komplette Website ausgehend von einer Start-URL und gibt HTML, sauberes Markdown oder von Workers AI extrahiertes JSON zurück — kein Scraping-Framework erforderlich. - Sie übernimmt die Seitenerkennung aus Sitemaps und Links, bietet Steuerungen für Crawl-Tiefe und Wildcard-Bereiche, inkrementelles Crawling (modifiedSince, maxAge) und einen statischen Modus render:false. - Der Crawler respektiert robots.txt und crawl-delay, identifiziert sich selbst und kann die Bot-Erkennung von Cloudflare nicht umgehen — es handelt sich um ein regelkonformes, nicht um ein verstecktes Tool. - Die Markdown-Ausgabe existiert, weil dieses Format von LLM- und RAG-Pipelines bevorzugt wird; dies ist Infrastruktur, um KI zu füttern, und Ihre Website ist das Rohmaterial. - Für GEO ist die Lektion klar: Wenn Ihre Seiten nicht sauber crawlbar und maschinenlesbar sind, sind Sie für KI-Systeme schwerer zu verarbeiten — und leichter zu übergehen.
Was die Crawl-API tatsächlich macht
Traditionelles Web-Scraping ist ein Stapel mühsamer Aufgaben. Man richtet Scrapy oder Puppeteer ein, kümmert sich um Paginierung und Ratenbegrenzungen, kämpft gegen CAPTCHAs, rotiert Proxys und IPs, umgeht Anti-Bot-Maßnahmen und parst dann den Inhalt manuell. Die Crawl-API ersetzt dies durch einen einzigen Aufruf: Geben Sie eine Start-URL ein, und Cloudflare entdeckt Seiten aus Sitemaps und Links, rendert jede in einem Headless-Browser und liefert strukturierte Ausgaben zurück. Die Reibung, die das gelegentliche Crawlen teuer machte, verschwindet weitgehend.
Die Funktionen, die zählen
Die Ausgabeformate sind entscheidend. Sie können rohes gerendertes HTML, sauberes Markdown, das LLM-fähig ist, oder strukturiertes JSON erhalten, das mit Workers AI extrahiert wurde. Steuerungen für den Umfang ermöglichen es Ihnen, die Crawl-Tiefe festzulegen, die Anzahl der Seiten zu begrenzen und Wildcard-Muster zu verwenden, um bestimmte URL-Pfade einzuschließen oder auszuschließen. Die Seitenerkennung zieht URLs aus Sitemaps, aus On-Page-Links oder beidem. Inkrementelles Crawling verwendet modifiedSince, um unveränderte Seiten zu überspringen, und maxAge, um kürzlich abgerufene Seiten zu überspringen, sodass wiederholte Crawls kostengünstig bleiben. Ein statischer Modus mit render:false erfasst reines HTML für Websites, die keinen Browser benötigen, was schneller und günstiger ist.
