Cloudflareは、開発者が単一のAPIコールでウェブサイト全体をクロールできるCrawl APIをリリースしました。このAPIは、Browser Renderingの新しい/crawlエンドポイントを通じてオープンベータ版で利用可能です。開始URLを1つ指定するだけで、自動的にページを発見し、ヘッドレスブラウザでレンダリングし、HTML、Markdown、または構造化されたJSON形式でコンテンツを返します。以前は数週間かかっていたプロキシ、CAPTCHA、ページネーション、パースといった地味な作業が、1回のリクエストで完結します。ブランドコンテンツがAIに取り込まれる方法を考える人にとって、この利便性は一長一短です。
主なポイント
- CloudflareのCrawl APIは、開始URLからサイト全体をクロールし、HTML、クリーンなMarkdown、またはWorkers AIで抽出されたJSONを返します。スクレイピングフレームワークは不要です。 - サイトマップやリンクからのページ発見、クロール深度やワイルドカードスコープの制御、増分クロール（modifiedSince、maxAge）、および静的レンダリングモード（render:false）をサポートします。 - クローラーはrobots.txtやクロール遅延を遵守し、自身をクローラーとして識別し、Cloudflareのボット検出を回避することはできません。これは、オープンウェブをルールに従ってクロールするためのツールであり、防御をすり抜けるものではありません。 - Markdown出力が存在する理由は、LLMやRAGパイプラインがその形式を求めているからです。これはAIにデータを供給するためのインフラであり、あなたのサイトがその原材料となります。 - GEOにとっての教訓は明白です。ページがクリーンにクロール可能で機械的に解析可能でなければ、AIシステムに取り込まれにくくなり、無視されやすくなります。
Crawl APIの実際の機能
従来のウェブスクレイピングは手間のかかる作業でした。ScrapyやPuppeteerを立ち上げ、ページネーションやレート制限に対応し、CAPTCHAと戦い、プロキシやIPを回転させ、ボット対策を回避し、手作業でコンテンツを解析・構造化する必要がありました。Crawl APIはこれを1回のコールで置き換えます。開始URLを送信すると、Cloudflareがサイトマップやリンクからページを発見し、各ページをヘッドレスブラウザでレンダリングし、構造化された出力を返します。これまでカジュアルなクロールを高コストにしていた摩擦が大幅に軽減されます。
重要な機能
出力形式がポイントです。生のレンダリング済みHTML、LLM対応のクリーンなMarkdown、またはWorkers AIで抽出された構造化JSONを取得できます。スコープ制御により、クロール深度を設定したり、ページ数を制限したり、特定のURLパスを含めたり除外したりすることができます。ページ発見は、サイトマップやページ内リンク、またはその両方からURLを取得します。増分クロールでは、modifiedSinceを使用して変更されていないページをスキップし、maxAgeを使用して最近取得されたページをスキップすることで、繰り返しクロールのコストを抑えます。静的モード（render:false）では、ブラウザを必要としないサイトのプレーンHTMLを取得し、より高速かつ低コストで処理できます。
コンプライアンスについて、Cloudflareは明確にしています。クローラーはrobots.txtの指示を遵守し、クロール遅延を尊重し、自身をクローラーとして識別し、Cloudflare独自のボット検出を回避することはできません。このツールは、ルールに従ってオープンウェブをクロールするために作られており、防御をすり抜けるためのものではありません。
Markdownを優先するクローラーがAIに関連する理由
どの形式が「LLM対応」とラベル付けされているかに注目してください。Markdownは、レイアウトのノイズを排除し、クリーンで構造化されたテキストをモデルがチャンク化し埋め込むことができるため、検索強化生成（RAG）に最適な入力形式です。デフォルトでMarkdownを出力するクローラーは、従来の方法で検索インデックスを構築するためのものではありません。それは、AIアシスタントにデータを供給するためのナレッジベースやRAGパイプラインを構築するためのものです。Cloudflareは、AI取り込み層のための道具を提供しており、すべての公開ウェブサイトが潜在的な資源となります。
GEOにとっての意味
ここに不快な対称性があります。CloudflareのCrawl APIがクリーンなMarkdownに変換しやすいサイトの特性は、AIシステムがブランドを取り込み、理解し、引用しやすくする特性でもあります。クリーンなHTML、完全なサイトマップ、合理的なリンク構造、合法的なクローラーを歓迎するrobots.txt — これらは単なるスクレイピングの利便性ではありません。これらは、あなたのコンテンツが顧客が推奨を求めるAIシステムにスムーズに流れるかどうかを決定します。
逆に考えると、リスクは明らかです。ページが構造化されていないマークアップの塊であったり、クライアントサイドレンダリングに依存して壊れたり、クローラーを無差別にブロックしたりすると、スクレイピングが難しいだけでなく、AIにとっても表現しにくくなります。そして、AIはクリーンに読み取れないものを推奨することはできません。これはまさにGEO監査がチェックする内容です。[GEOly](/blog/what-is-geoly-ai)は、AI対応診断をサイトやページに対して実行します。コンテンツがクロール可能で、解析可能で、機械が必要とする形式で構造化されているかどうかを確認します。このプラットフォームは、ChatGPT、Gemini、Google AIなどでカテゴリーがどのように表示されるかをマッピングする機能も備えています。そのデータはMCPやCLIを通じて公開されているため、Crawl APIのようなツールを使用してモニタリングやRAGパイプラインを構築する場合、同じワークフローでGEOの可視性をエージェントがクエリできます。より広範なエージェントツールの文脈については、[GEO MCPサーバー](/blog/geo-mcp-server-ai-visibility-claude-code-cursor-codex)に関する記事をご覧ください。また、基本については、[GEOとは何か](/blog/what-is-generative-engine-optimization-geo)をご覧ください。
