🤖

robots.txt Oluşturucu

allow, disallow, crawl-delay ve sitemap kurallarıyla geçerli bir robots.txt oluşturun.

Dosyalarınız bu cihazda kalır

Dosyalar tarayıcınızda işlenir, asla sunucuya yüklenmez. Site, araçları çalıştırmak için gereken kod ve kaynakları indirir. Hesap veya takip yoktur.

Bu aracı çevrimdışı kullanım için tek bir HTML dosyası olarak kaydetmek üzere İndir'i kullanın.

User-agent

Crawl-delay (saniye)

İzin verilen yollar (her satıra bir tane)

Engellenen yollar (her satıra bir tane)

Sitemap URL'si

çıktı

— çıktı burada görünür —

Bu araç hakkında

Tarama kurallarınızdan standartlara uygun bir robots.txt dosyası oluşturur. Dosya tarayıcınızda yerel olarak üretilir.

robots.txt nereye gider?

Tarayıcıların bulabilmesi için alan adınızın kök dizinine, örneğin https://example.com/robots.txt adresine yerleştirilir.

Disallow ne yapar?

Kurallara uyan tarayıcılardan listelenen yolları getirmemelerini ister; her satırda bir yol, eğik çizgiyle başlar.