इस टूल के बारे में
आपके crawl नियमों से एक मानक-अनुरूप robots.txt फ़ाइल बनाता है। फ़ाइल आपके ब्राउज़र में स्थानीय रूप से बनती है।
अक्सर पूछे जाने वाले प्रश्न
robots.txt कहां रखी जाती है?
आपके डोमेन की रूट पर, उदाहरण के लिए https://example.com/robots.txt, ताकि क्रॉलर इसे ढूंढ सकें।
Disallow क्या करता है?
यह नियम-पालक क्रॉलर से अनुरोध करता है कि वे सूचीबद्ध पाथ न लाएं; प्रति पंक्ति एक पाथ, स्लैश से शुरू।