Robots.txt 生成器
控制爬虫抓取的内容
无需记住语法即可生成 robots.txt 文件：从预设开始，添加不希望爬虫进入的文件夹，列出你的站点地图，并决定如何处理 AI 爬虫。
- 免费
- 无需注册
- 可用的起始预设
- 站点地图行
- 可选屏蔽 AI 爬虫
起始配置
完全在你的浏览器中运行——你输入的任何内容都不会发送给我们。
工作原理
如何使用Robots.txt 生成器
-
选择起点
允许全部、屏蔽全部，或从典型网站配置开始。
-
添加规则
列出要禁止的路径、要允许的例外，以及你的站点地图网址。
-
上传文件
下载 robots.txt 并放到你域名的根目录，例如 example.com/robots.txt。
robots.txt 应该放在哪里？
放在其所适用主机的根目录：https://example.com/robots.txt。每个子域名都需要自己的文件，爬虫会忽略子文件夹中的 robots.txt 文件。
Disallow 能让页面不出现在 Google 中吗？
不能。Disallow 阻止的是抓取，而不是索引：如果其他网站链接到被屏蔽的网址，它仍可能出现在搜索结果中。要让页面不出现在搜索中，请允许抓取并添加 noindex robots meta 标签。
robots.txt 能屏蔽 AI 爬虫吗？
大多数 AI 公司表示其爬虫会遵守 robots.txt，因此你可以禁止 GPTBot、ClaudeBot、CCBot、Google-Extended 和 PerplexityBot 等用户代理。这只是一项请求，而非强制措施：忽略该文件的爬虫并不会被阻止。
最后更新 由 Letlink 团队打造。