Was ist Robots.txt-Generator?

Erzeugen Sie korrekt formatierte robots.txt-Dateien, um zu steuern, wie Suchmaschinen-Crawler auf Ihre Website zugreifen. Fügen Sie User-Agent-Regeln hinzu, erlauben oder sperren Sie Pfade, legen Sie Crawl-Verzögerungen fest und binden Sie Sitemap-Verweise ein – ganz ohne manuelles Schreiben.

Anleitung

1. Fügen Sie User-Agent-Regeln hinzu (z. B. Googlebot, Bingbot oder * für alle) und legen Sie fest, welche Pfade erlaubt oder gesperrt werden sollen.
2. Stellen Sie optional Crawl-Delay-Werte ein und fügen Sie Ihre Sitemap-URL hinzu.
3. Kopieren oder laden Sie die generierte robots.txt-Datei herunter und laden Sie sie in das Stammverzeichnis Ihrer Website hoch.

Ergebnis

Erstellen Sie Regeln, die allen Crawlern den Zugriff auf Ihre Website erlauben, aber die Pfade /admin/ und /api/ blockieren, mit einer Sitemap unter https://example.com/sitemap.xml.

Ähnliche Tools