🤖 Robots.txt 生成器

⚡ 快速预设

🎯 选择爬虫

自定义 User-agent 按 Enter 添加自定义爬虫

📜 爬取规则

🗺️ Sitemap

Sitemap URL

同时添加 sitemap_index.xml

⚙️ 高级选项

Crawl-delay (秒) 建议爬虫两次请求之间的间隔时间

Host (主域名) 指定主域名 (Yandex 特有)

📄 生成的 robots.txt

robots.txt

💡 robots.txt 说明

User-agent : 指定规则适用的爬虫
Disallow : 禁止爬取的路径
Allow : 允许爬取的路径 (优先级更高)
Sitemap : 网站地图位置
文件应放在网站根目录: example.com/robots.txt

⚠️ 注意事项

robots.txt 只是一个建议，恶意爬虫可能会忽略它。对于敏感内容，应使用服务器端的访问控制。