🤖

Generator robots.txt

Zbuduj prawidłowy plik robots.txt z regułami allow, disallow, crawl-delay i sitemap.

Twoje pliki zostają na tym urządzeniu

Pliki są przetwarzane w przeglądarce, nigdy nie są wysyłane. Strona pobiera kod i zasoby potrzebne narzędziom. Bez kont i śledzenia.

Użyj przycisku Pobierz, aby zapisać narzędzie jako jeden plik HTML do pracy offline.

User-agent

Crawl-delay (sekundy)

Dozwolone ścieżki (allow, jedna w wierszu)

Zablokowane ścieżki (disallow, jedna w wierszu)

Adres URL mapy witryny (sitemap)

wynik

— wynik pojawi się tutaj —

O tym narzędziu

Generuje zgodny ze standardami plik robots.txt na podstawie Twoich reguł indeksowania. Plik jest budowany lokalnie w Twojej przeglądarce.

Gdzie umieścić plik robots.txt?

W katalogu głównym Twojej domeny, na przykład https://example.com/robots.txt, aby crawlery mogły go znaleźć.

Co robi dyrektywa Disallow?

Prosi dobrze zachowujące się crawlery, aby nie pobierały wymienionych ścieżek; jedna ścieżka w wierszu, zaczynająca się od ukośnika.