Sobre esta ferramenta
Gera um arquivo robots.txt em conformidade com os padrões a partir das suas regras de rastreamento. O arquivo é montado localmente no seu navegador.
Perguntas frequentes
Onde fica o robots.txt?
Na raiz do seu domínio, por exemplo https://example.com/robots.txt, para que os crawlers possam encontrá-lo.
O que o Disallow faz?
Pede aos crawlers bem-comportados que não acessem os caminhos listados; um caminho por linha, começando com uma barra.