🔥 已有 0 人使用了该工具
Robots.txt 生成器
为网站创建自定义 robots.txt 文件。选择模板或自定义爬虫规则。
快速模板
User-Agent: *
允许
禁止
爬取延迟（秒）
Sitemap URL
首选域名
生成的 robots.txt
# Robots.txt generated by GEOly.ai
# https://geoly.ai/free-tools/robots-txt-generator
User-agent: *
Allow: /工作原理及 Robots.txt 指南
什么是 robots.txt？
robots.txt 文件是放置在网站根目录（如 example.com/robots.txt）的文本文件，告诉搜索引擎爬虫哪些页面可以或不可以访问。
它遵循 Robots 排除协议，是爬虫在索引网站前首先检查的文件。配置良好的 robots.txt 有助于管理爬取预算和保护敏感区域。
配置建议
- ✓爬取预算: 使用 Disallow 规则防止爬虫浪费时间在低价值页面上，如管理面板、搜索结果或重复内容。
- ✓AI 爬虫控制: 阻止 GPTBot、CCBot 和 Google-Extended 等 AI 训练爬虫，防止内容被用于 AI 训练数据。
- ✓添加 Sitemap: 在 robots.txt 中包含 sitemap URL，让搜索引擎能高效发现所有重要页面。