درباره این ابزار
یک فایل robots.txt سازگار با استانداردها را از روی قوانین خزش شما تولید می‌کند. فایل به‌صورت محلی در مرورگر شما ساخته میشود.
پرسش‌های پرتکرار
robots.txt کجا قرار می‌گیرد؟
در ریشهٔ دامنهٔ شما، برای مثال https://example.com/robots.txt، تا خزنده‌ها بتوانند آن را پیدا کنند.
Disallow چه کاری انجام می‌دهد؟
از خزندههای خوشرفتار میخواهد مسیرهای فهرستشده را دریافت نکنند؛ هر مسیر در یک خط و با اسلش آغاز میشود.