🤖

robots.txt 生成器

构建包含 allow、disallow、crawl-delay 和 sitemap 规则的有效 robots.txt。

文件始终留在此设备上

文件在浏览器中处理，绝不上传。网站会下载运行工具所需的代码和资源。无需账号，也无追踪。

使用“下载”将此工具保存为单个 HTML 文件，以便离线使用。

User-agent

Crawl-delay（秒）

Allow 路径（每行一个）

Disallow 路径（每行一个）

Sitemap URL

输出

— 输出将显示在这里 —

关于此工具

根据你的抓取规则生成符合标准的 robots.txt 文件。该文件在你的浏览器本地构建。

robots.txt 放在哪里？

放在你域名的根目录，例如 https://example.com/robots.txt，以便爬虫找到它。

Disallow 有什么作用？

它请求行为规范的爬虫不要抓取列出的路径；每行一个路径，以斜杠开头。