Über dieses Tool
Generiert eine standardkonforme robots.txt-Datei aus deinen Crawl-Regeln. Die Datei wird lokal in deinem Browser erstellt.
Häufig gestellte Fragen
Wohin gehört die robots.txt?
In das Stammverzeichnis deiner Domain, zum Beispiel https://example.com/robots.txt, damit Crawler sie finden.
Was bewirkt Disallow?
Es bittet wohlerzogene Crawler, die aufgeführten Pfade nicht abzurufen; ein Pfad pro Zeile, beginnend mit einem Schrägstrich.