Об этом инструменте
Генерирует файл robots.txt, соответствующий стандартам, на основе ваших правил обхода. Файл создаётся локально в вашем браузере.
Часто задаваемые вопросы
Куда поместить robots.txt?
В корень вашего домена, например https://example.com/robots.txt, чтобы краулеры могли его найти.
Что делает Disallow?
Просит добросовестных краулеров не загружать указанные пути; по одному пути на строку, начиная со слэша.