حول هذه الأداة
ينشئ ملف robots.txt متوافقًا مع المعايير من قواعد الزحف الخاصة بك. يُبنى الملف محليًا في متصفحك.
الأسئلة الشائعة
أين يوضع ملف robots.txt؟
في جذر نطاقك، على سبيل المثال https://example.com/robots.txt، حتى تتمكن الزواحف من العثور عليه.
ماذا يفعل Disallow؟
يطلب من الزواحف حسنة السلوك عدم جلب المسارات المُدرجة؛ مسار واحد لكل سطر، يبدأ بشَرطة مائلة.