O que é Gerador de Robots.txt?

Gere arquivos robots.txt formatados corretamente para controlar como os rastreadores de mecanismos de busca acessam seu site. Adicione regras de user-agent, caminhos permitidos/bloqueados, defina intervalos de rastreamento e inclua referências ao sitemap — tudo sem escrever o arquivo manualmente.

Como usar

1. Adicione regras de user-agent (ex.: Googlebot, Bingbot ou * para todos) e especifique quais caminhos permitir ou bloquear.
2. Opcionalmente, defina valores de atraso de rastreamento e adicione a URL do seu sitemap.
3. Copie ou baixe o arquivo robots.txt gerado e faça o upload para a raiz do seu site.

Resultado

Crie regras que permitam todos os rastreadores no seu site, mas bloqueiem os caminhos /admin/ e /api/, com um sitemap em https://example.com/sitemap.xml.

Ferramentas relacionadas