Qu'est-ce que Générateur de Robots.txt ?

Générez des fichiers robots.txt correctement formatés pour contrôler la manière dont les robots d'indexation accèdent à votre site web. Ajoutez des règles user-agent, autorisez ou bloquez des chemins, définissez des délais d'exploration et incluez des références au sitemap — le tout sans écrire le fichier à la main.

Comment utiliser

1. Ajoutez des règles user-agent (ex. : Googlebot, Bingbot ou * pour tous) et précisez les chemins à autoriser ou à bloquer.
2. Définissez éventuellement des valeurs de délai d'exploration et ajoutez l'URL de votre sitemap.
3. Copiez ou téléchargez le fichier robots.txt généré et déposez-le à la racine de votre site.

Résultat

Créez des règles autorisant tous les robots sur votre site tout en bloquant les chemins /admin/ et /api/, avec un sitemap à l'adresse https://example.com/sitemap.xml.

Outils similaires