Про цей інструмент
Генерує файл robots.txt, що відповідає стандартам, на основі ваших правил сканування. Файл створюється локально у вашому браузері.
Поширені запитання
Куди розміщувати robots.txt?
У корінь вашого домену, наприклад https://example.com/robots.txt, щоб краулери могли його знайти.
Що робить Disallow?
Він просить добропорядні краулери не завантажувати вказані шляхи; по одному шляху в рядку, починаючи зі скісної риски.