🤖

Generatore di robots.txt

Crea un robots.txt valido con regole allow, disallow, crawl-delay e sitemap.

I tuoi file restano su questo dispositivo

I file vengono elaborati nel browser, mai caricati su un server. Il sito scarica il codice e le risorse necessarie. Senza account né tracciamento.

Usa Scarica per salvare questo strumento in un unico file HTML da usare offline.

User-agent

Crawl-delay (secondi)

Percorsi consentiti (uno per riga)

Percorsi non consentiti (uno per riga)

URL della sitemap

output

— l'output appare qui —

Informazioni su questo strumento

Genera un file robots.txt conforme agli standard a partire dalle tue regole di scansione. Il file viene creato localmente nel tuo browser.

Dove va il robots.txt?

Nella radice del tuo dominio, ad esempio https://example.com/robots.txt, così i crawler possono trovarlo.

Cosa fa Disallow?

Chiede ai crawler ben educati di non recuperare i percorsi elencati; un percorso per riga, che inizia con una barra.