🤖

Gerador de robots.txt

Crie um robots.txt válido com regras de allow, disallow, crawl-delay e sitemap.

Seus arquivos ficam neste dispositivo

Os arquivos são processados no navegador, nunca enviados. O site baixa o código e os recursos necessários. Sem contas ou rastreadores.

Use Baixar para salvar esta ferramenta em um único arquivo HTML para uso offline.

User-agent

Crawl-delay (segundos)

Caminhos permitidos (um por linha)

Caminhos bloqueados (um por linha)

URL do sitemap

saída

— a saída aparece aqui —

Sobre esta ferramenta

Gera um arquivo robots.txt em conformidade com os padrões a partir das suas regras de rastreamento. O arquivo é montado localmente no seu navegador.

Onde fica o robots.txt?

Na raiz do seu domínio, por exemplo https://example.com/robots.txt, para que os crawlers possam encontrá-lo.

O que o Disallow faz?

Pede aos crawlers bem-comportados que não acessem os caminhos listados; um caminho por linha, começando com uma barra.