🤖

robots.txt-Generator

Erstelle eine gültige robots.txt mit Allow-, Disallow-, Crawl-Delay- und Sitemap-Regeln.

Deine Dateien bleiben auf diesem Gerät

Dateien werden im Browser verarbeitet, nie hochgeladen. Die Website lädt den benötigten Code und die Ressourcen herunter. Ohne Konto und Tracker.

Speichere dieses Tool über Herunterladen als einzelne HTML-Datei zur Offline-Nutzung.

User-agent

Crawl-Delay (Sekunden)

Erlaubte Pfade (einer pro Zeile)

Gesperrte Pfade (einer pro Zeile)

Sitemap-URL

Ausgabe

— Ausgabe erscheint hier —

Über dieses Tool

Generiert eine standardkonforme robots.txt-Datei aus deinen Crawl-Regeln. Die Datei wird lokal in deinem Browser erstellt.

Wohin gehört die robots.txt?

In das Stammverzeichnis deiner Domain, zum Beispiel https://example.com/robots.txt, damit Crawler sie finden.

Was bewirkt Disallow?

Es bittet wohlerzogene Crawler, die aufgeführten Pfade nicht abzurufen; ein Pfad pro Zeile, beginnend mit einem Schrägstrich.