Bu araç hakkında
Tarama kurallarınızdan standartlara uygun bir robots.txt dosyası oluşturur. Dosya tarayıcınızda yerel olarak üretilir.
Sık sorulan sorular
robots.txt nereye gider?
Tarayıcıların bulabilmesi için alan adınızın kök dizinine, örneğin https://example.com/robots.txt adresine yerleştirilir.
Disallow ne yapar?
Kurallara uyan tarayıcılardan listelenen yolları getirmemelerini ister; her satırda bir yol, eğik çizgiyle başlar.