Acerca de esta herramienta
Genera un archivo robots.txt conforme a los estándares a partir de tus reglas de rastreo. El archivo se crea localmente en tu navegador.
Preguntas frecuentes
¿Dónde va el robots.txt?
En la raíz de tu dominio, por ejemplo https://example.com/robots.txt, para que los rastreadores puedan encontrarlo.
¿Qué hace Disallow?
Pide a los rastreadores que se comportan correctamente que no accedan a las rutas indicadas; una ruta por línea, empezando con una barra.