Что такое Генератор Robots.txt?

Генерируйте корректно оформленные файлы robots.txt для управления доступом поисковых роботов к вашему сайту. Добавляйте правила для user-agent, разрешённые и запрещённые пути, задержку обхода и ссылки на карту сайта — без ручного написания файла.

Как использовать

1. Добавьте правила для user-agent (например, Googlebot, Bingbot или * для всех) и укажите разрешённые или запрещённые пути.
2. При необходимости задайте значение задержки обхода и добавьте URL карты сайта.
3. Скопируйте или скачайте сгенерированный файл robots.txt и загрузите его в корень вашего сайта.

Результат

Создайте правила, разрешающие всем поисковым роботам доступ к сайту, но блокирующие пути /admin/ и /api/, с картой сайта по адресу https://example.com/sitemap.xml.

Похожие инструменты