免费诊断

Robots生成器

免费 Robots.txt 在线生成器工具，可视化勾选搜索引擎抓取权限、需要屏蔽的文件夹与页面路径，一键生成符合主流搜索引擎规范的 robots 文件代码，帮助站长规范爬虫抓取行为，优化网站收录与 SEO 表现。

首页 工具 Robots生成器

输入域名后，Sitemap URL 会自动填充

快速选择模板

允许所有爬虫

最宽松配置，所有爬虫均可访问

标准推荐

允许搜索引擎爬虫，屏蔽敏感目录

SEO + GEO 优化

允许搜索引擎和 AI 爬虫，屏蔽重复内容

屏蔽 AI 爬虫

允许搜索引擎，禁止 GPTBot、Claude 等 AI 爬虫

仅允许 AI 爬虫

允许 AI 爬虫发现内容，限制传统搜索引擎

禁止所有爬虫

完全屏蔽所有爬虫访问

自定义规则

User-agent
规则

使用说明

  1. 选择 User-agent（爬虫类型），如 Googlebot、GPTBot、Claude-Web 等
  2. 为每个爬虫添加 Allow（允许）或 Disallow（禁止）访问的路径规则
  3. （可选）填写 Sitemap URL 和 Crawl-delay 延迟设置
  4. 点击「生成」，将生成的内容保存为 robots.txt 并上传到网站根目录

为什么使用此工具？

Robots.txt 是控制搜索引擎和 AI 爬虫如何访问您网站的核心文件。正确配置 robots.txt 可以防止敏感页面被索引，同时确保重要内容对搜索引擎和 AI 模型可见。

常见问题

Robots.txt在线生成器使用FAQ

解答爬虫抓取规则配置、文件部署、与搜索引擎适配等常见问题

1、Robots生成器工具是否免费，有无使用次数限制？
工具完全免费，无需注册登录，不限生成次数，勾选规则即可一键输出标准robots.txt文本，直接复制使用。
2、robots.txt文件上传到网站哪个目录生效？
必须上传至网站根目录，域名直接访问shturl.cc/ClhPfiru可打开即为部署成功，二级目录放置无法被爬虫识别。
3、可以屏蔽后台、附件、图片、缓存文件夹吗？
支持可视化勾选屏蔽后台admin、上传附件、缓存目录、静态资源文件夹，避免无效页面被收录浪费爬虫配额。
4、如何在robots中绑定Sitemap站点地图地址？
生成页面填写完整sitemap.xml在线地址，工具自动追加Sitemap: 指令，方便搜索引擎快速抓取站点地图。
5、robots规则修改后多久搜索引擎会更新执行？
百度、谷歌爬虫再次访问网站后更新，一般3–10天生效，可在站长平台提交robots更新加速生效。
6、robots和LLMS.txt作用有什么区别？
robots管控传统搜索引擎爬虫；LLMS.txt专门用于引导AI大模型抓取内容，二者建议同时部署，兼顾SEO与GEO优化。
7、禁止所有爬虫抓取的规则如何快速生成？
直接勾选禁止所有User-Agent访问全站，工具自动输出Disallow: / 规则，适合测试站、内部站点使用。
8、错误的robots规则会对收录造成什么负面影响？
规则写错可能直接拦截整站收录，导致页面无法被搜索引擎抓取，严重影响网站流量，部署前建议用站长工具校验语法。