¿Qué es Generador de Robots.txt?

Genera archivos robots.txt con formato correcto para controlar cómo los rastreadores de motores de búsqueda acceden a tu sitio web. Añade reglas de user-agent, rutas permitidas/bloqueadas, retardo de rastreo y referencias al sitemap, todo sin escribir el archivo a mano.

Cómo usar

1. Agrega reglas de user-agent (por ejemplo, Googlebot, Bingbot o * para todos) y especifica qué rutas permitir o bloquear.
2. Opcionalmente configura valores de retardo de rastreo y añade la URL de tu sitemap.
3. Copia o descarga el archivo robots.txt generado y súbelo a la raíz de tu sitio.

Resultado

Crea reglas que permitan a todos los rastreadores acceder a tu sitio pero bloqueen las rutas /admin/ y /api/, con un sitemap en https://example.com/sitemap.xml.

Herramientas relacionadas