Robots.txt 生成工具
生成 robots.txt 文件,控制搜索引擎和机器人对你网站页面的访问
屏蔽特定 AI 机器人(可选)
生成好的 robots.txt 文件将显示在这里…
什么是 Fastols 的 Robots.txt 生成器?
此工具可生成 Robots.txt 文件,通过设定默认的允许或禁止规则,以及自定义路径和可屏蔽的特定爬虫,来控制搜索引擎对网站页面的抓取方式。
当网站所有者需要针对网站的特定部分(例如后台管理页面或内部文件)来调整搜索引擎的抓取行为时,这个工具非常实用。
无需任何服务器调用即可生成
你选择的选项会直接在浏览器中组装成 robots.txt 规则。
实时预览文件
每切换一条规则,robots.txt 的结果都会立即更新。
随时可复制,永久免费
无需注册即可下载或复制最终文件。
生成 Robots.txt 文件的简单步骤
- 1选择默认规则:允许所有爬虫、完全禁止,或设定自定义路径。
- 2输入自定义的允许和禁止路径,如需要也可以设置抓取延迟时间。
- 3从可用爬虫列表中选择需要屏蔽的特定爬虫。
- 4如有网站地图链接可一并添加,然后复制文件内容,或直接以 robots.txt 为文件名下载。
关于 Robots.txt 生成器的常见问题
Robots.txt 文件的默认规则有哪些可选项?
可以选择允许所有爬虫抓取、完全禁止抓取,或设定自定义的允许与禁止路径。
如何添加自定义的允许和禁止路径?
在允许和禁止两个字段中分别输入路径,每个路径单独占一行;若路径开头没有斜杠,工具会自动添加。
可以按名称屏蔽特定的爬虫吗?
可以,该工具支持从现成列表中选择特定爬虫单独屏蔽,与网站的整体规则区分开来。
可以在生成的文件中添加网站地图(Sitemap)链接吗?
可以,有专门的字段用于输入 Sitemap 文件链接,它会自动作为单独一行添加到 Robots.txt 文件末尾。
如何获取可直接上传到网站的 Robots.txt 文件?
可以直接从结果框复制文件内容,或点击下载按钮获取可上传到网站根目录的 robots.txt 文件。