什么是Robots.txt生成器？

生成格式规范的robots.txt文件，控制搜索引擎爬虫对网站的访问方式。可添加User-Agent规则、设置允许/禁止路径、指定抓取延迟和站点地图引用，无需手动编写文件。

使用方法

1. 添加User-Agent规则（如Googlebot、Bingbot或*代表全部），并指定允许或禁止访问的路径。
2. 可选择设置抓取延迟并添加站点地图URL。
3. 复制或下载生成的robots.txt文件，上传到网站根目录即可。

结果

创建规则允许所有爬虫访问网站，但屏蔽/admin/和/api/路径，并声明站点地图地址为https://example.com/sitemap.xml。

相关工具