🤖 robots.txt 生成器

💡 robots.txt 说明

• User-agent: * - 针对所有爬虫的规则
• Disallow: /path/ - 禁止爬取指定路径
• Allow: /path/ - 允许爬取指定路径（优先级高于 Disallow）
• Crawl-delay: 10 - 请求间隔（秒），部分爬虫支持
• Sitemap: - 指定站点地图地址
• 注意： robots.txt 必须放在网站根目录下