🤖

robots.txt 生成器

构建包含 allow、disallow、crawl-delay 和 sitemap 规则的有效 robots.txt。

User-agent

Crawl-delay（秒）

Allow 路径（每行一个）

Disallow 路径（每行一个）

Sitemap URL

输出

— 输出将显示在这里 —

关于此工具

根据你的抓取规则生成符合标准的 robots.txt 文件。该文件在你的浏览器本地构建。

robots.txt 放在哪里？

放在你域名的根目录，例如 https://example.com/robots.txt，以便爬虫找到它。

Disallow 有什么作用？

它请求行为规范的爬虫不要抓取列出的路径；每行一个路径，以斜杠开头。