🔥 0 人がこのツールを使用しました
Robots.txtジェネレーター
ウェブサイト用のカスタムrobots.txtファイルを作成します。テンプレートから選ぶか、自分でルールを作成してください。
クイックテンプレート
ユーザーエージェント: *
許可
禁止
クロール遅延（秒）
サイトマップURL
優先ホスト
生成されたrobots.txt
# Robots.txt generated by GEOly.ai
# https://geoly.ai/free-tools/robots-txt-generator
User-agent: *
Allow: /使い方＆Robots.txtガイド
robots.txtとは？
robots.txtファイルは、ウェブサイトのルート（例: example.com/robots.txt）に配置され、検索エンジンクローラーにアクセス可能なページとアクセス不可のページを指示するテキストファイルです。
これはRobots Exclusion Protocolに従い、クローラーがサイトをインデックスする前に最初に確認するファイルです。適切に構成されたrobots.txtは、クロールバジェットを管理し、機密領域を保護するのに役立ちます。
構成のヒント
- ✓クロールバジェット: 管理画面、検索結果、重複コンテンツなどの低価値ページにクローラーが時間を費やさないように、Disallowルールを使用してください。
- ✓AIボットの制御: GPTBot、CCBot、Google-ExtendedなどのAIトレーニングクローラーをブロックして、コンテンツがAIトレーニングデータに使用されるのを防ぎます。
- ✓必ずサイトマップを追加: robots.txtにサイトマップURLを含めることで、検索エンジンが重要なページを効率的に発見できるようにします。