Over deze tool
Genereert een standaardconform robots.txt-bestand op basis van je crawlregels. Het bestand wordt lokaal in je browser gebouwd.
Veelgestelde vragen
Waar komt robots.txt te staan?
In de root van je domein, bijvoorbeeld https://example.com/robots.txt, zodat crawlers het kunnen vinden.
Wat doet Disallow?
Het vraagt nette crawlers de vermelde paden niet op te halen; één pad per regel, beginnend met een schuine streep.