Robots.txt 生成器
创建有效的 robots.txt：允许或阻止爬虫、用通配符禁止路径、添加 Allow 例外、Crawl-delay、站点地图 URL，并屏蔽 AI 训练爬虫。
路径以 / 开头。* 匹配任意字符，$ 表示 URL 结尾。
用于被禁止目录中的例外；最具体的规则优先。
Bing 和 Yandex 会遵守；Google 会忽略。
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
什么是 Robots.txt 生成器？
这个生成器按 RFC 9309 构建 robots.txt 文件。你可以选择是否允许爬虫访问站点，列出要禁止的路径（支持 * 和 $ 通配符）和 Allow 例外，添加可选的 Crawl-delay 和站点地图 URL，还可以选择添加一组规则，阻止 GPTBot、ClaudeBot、Google-Extended、CCBot 和 PerplexityBot 等 AI 训练和 AI 搜索爬虫。
如何使用 Robots.txt 生成器
- 选择默认规则：除所列路径外允许抓取，或阻止整个站点。
- 输入 Disallow 路径和 Allow 例外，每行一个，且都以 / 开头。
- 按需添加 Crawl-delay 和你的站点地图 URL。
- 如果想退出 AI 训练和 AI 搜索，请勾选“同时屏蔽 AI 爬虫”。
- 复制或下载 robots.txt，并上传到站点根目录。
示例
Allow all except /admin/, /cart/, /*?sessionid= · sitemap https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
何时使用 Robots.txt 生成器
适合避免爬虫在管理后台、购物车、搜索或带参数的 URL 上浪费时间、把它们指向你的站点地图，或退出 AI 爬虫。robots.txt 只是建议性的：它不会隐藏页面，也不会移除已索引的 URL（这需要 noindex 或身份验证），而且恶意机器人会无视它。
Robots.txt 生成器 的工作原理
工具会写出带有你的 Allow 和 Disallow 行的 User-agent: * 组（没有任何屏蔽时写空的 Disallow:，使该组保持有效），然后是可选的、以 Disallow: / 列出各 AI User-Agent 的组，最后是 Sitemap 行。不以 / 或 * 开头的行会被标记，因为爬虫会忽略它们。只有当 Crawl-delay 是数字时才会添加。
常见用例
- 在允许抓取商店其余部分的同时，屏蔽 /admin/ 和 /cart/。
- 阻止爬虫访问整个预发布站点。
- 退出 GPTBot、ClaudeBot 和 Google-Extended。
- 声明多个站点地图文件。
常见问题
Disallow 会把页面从 Google 中移除吗？
不会。被屏蔽的 URL 仍然可能因为链接而被索引，只是没有内容。要让它不出现在结果中，请使用 noindex meta 标签（并允许抓取）。
Google 会遵守 Crawl-delay 吗？
不会。Google 会忽略它；Bing 和 Yandex 会遵守。
屏蔽 Google-Extended 会让我从 Google 搜索中消失吗？
不会。Google-Extended 只控制你的内容是否用于 Gemini 和 Vertex AI 的训练；Googlebot 仍会为搜索抓取。