À propos de cet outil
Génère un fichier robots.txt conforme aux standards à partir de vos règles d'exploration. Le fichier est construit localement dans votre navigateur.
Foire aux questions
Où placer le robots.txt ?
À la racine de votre domaine, par exemple https://example.com/robots.txt, afin que les robots d'exploration puissent le trouver.
À quoi sert Disallow ?
Il demande aux robots d'exploration respectueux de ne pas récupérer les chemins listés ; un chemin par ligne, commençant par une barre oblique.