Về công cụ này
Tạo file robots.txt tuân thủ chuẩn từ các quy tắc thu thập của bạn. File được tạo cục bộ ngay trong trình duyệt.
Câu hỏi thường gặp
robots.txt được đặt ở đâu?
Tại thư mục gốc của tên miền, ví dụ https://example.com/robots.txt, để các trình thu thập có thể tìm thấy nó.
Disallow có tác dụng gì?
Nó yêu cầu các trình thu thập tuân thủ không truy xuất các đường dẫn được liệt kê; mỗi dòng một đường dẫn, bắt đầu bằng dấu gạch chéo.