一、功能效果

robots.txt 是网站用来告诉搜索引擎爬虫哪些页面不建议抓取的规则文件。合理设置 robots.txt，可以帮助搜索引擎更聚焦网站中公开、重要的页面内容。

robots.txt 仅用于提供抓取建议，并不能限制用户访问页面。设置不当可能影响网站收录，建议根据网站实际页面结构谨慎配置。

二、功能说明

【版本】高级版及以上

【适用范围】建站管理后台—搜索优化—robots.txt

【使用须知】robots.txt 仅用于向爬虫提供抓取建议，不是访问限制。

设置不当可能影响网站收录，建议根据网站实际页面结构谨慎配置。

上传纯文本 robots.txt 文件时，文件编码需为 UTF-8，建议文件大小控制在 50KB 以内。

保存后，可通过页面提供的 robots.txt 链接查看最新规则。

三、使用教程

1. 进入 robots.txt 设置页面

进入建站管理后台，点击左侧菜单【搜索优化】，找到并进入【robots.txt】设置页面。

2. 启用 robots.txt

在设置页面中，开启【启用robots.txt】开关。

开启后，可通过上传文件或 AI 智能生成的方式配置 robots.txt 规则。配置完成后，点击【保存】使设置生效。

3. 上传 robots.txt 文件

如果已有编辑好的 robots.txt 文件，可以点击【上传文件】，上传本地纯文本 robots.txt 文件。

上传前建议检查以下内容：

a、文件格式为纯文本，文件编码为 UTF-8。

b、文件内容符合 robots.txt 基础规则，文件大小建议不超过 50KB。

c、不要误屏蔽网站首页、产品详情页、文章详情页等希望被搜索引擎收录的重要页面。

上传完成后，点击【保存】使配置生效。

4. 使用 AI 智能生成 robots.txt

如果不熟悉 robots.txt 规则，也可以点击【AI智能生成】，进入 AI 智能生成弹窗。

在弹窗中，可根据推荐规则生成 robots.txt。点击【生成robots.txt】后，系统会智能生成规则内容。

5. 一键导入并保存

AI 生成规则后，点击【一键导入】，即可将生成的 robots.txt 内容导入到当前设置中。

导入后建议再次确认规则内容，确认无误后点击【保存】。保存成功后，可通过页面提示的 robots.txt 链接查看最新规则。

四、常见问题

Q：robots.txt 可以禁止别人访问某个页面吗？

A：不可以。robots.txt 主要是给搜索引擎爬虫看的抓取建议，不是访问权限控制。

Q：设置 robots.txt 后，网站一定会被搜索引擎收录吗？

A：不一定。robots.txt 可以帮助搜索引擎了解哪些页面不建议抓取，但网站收录还会受到页面质量、网站结构、内容更新、外链等多种因素影响。

Q：我不会写 robots.txt 规则怎么办？

A：可以使用【AI智能生成】功能。系统会根据推荐规则生成 robots.txt 内容，生成后支持一键导入，适合不熟悉规则编写的用户使用。

Q：上传 robots.txt 文件后还需要保存吗？

A：需要。上传或导入规则后，建议检查内容是否正确，然后点击【保存】，确保配置正式生效。

Q：多语言网站需要分别设置 robots.txt 吗？

A：如果多语言网站针对不同语言独立绑定了域名，可以在页面右上角切换对应语言版本后分别设置 robots.txt；如果多语言共用同一个域名，系统会自动更新到对应设置中，无需再手动独立处理。