← 返回工具列表
☀️
robots.txt 生成器
生成搜索引擎爬虫配置文件
快速模板
允许所有
阻止所有
标准配置
WordPress
爬虫规则
User-Agent
* (所有爬虫)
Googlebot
Bingbot
Baiduspider
Yandex
Disallow
Allow
×
Disallow
Allow
×
+ 添加规则
其他设置
Sitemap URL (可选)
Crawl-delay (秒, 可选)
添加注释说明
生成的 robots.txt
复制
下载文件