您当前的位置：首页 > 网站优化 > 什么是robots文件？它的作用是什么？为什么它对seo来说非常重要？
网站robots文本，是放在网站空间根目录下的一个txt文本。
网站robots怎么查看呢？
你的网站域名/robots.txt ，这样可以查看任何一个网站的robots(如果他有这个文件的话)。
什么是robots。
是搜索引擎蜘蛛，在抓取网站前，先查看的一个文本，可以告诉蜘蛛，哪些可以抓，哪些不可以抓取。确定抓取范围，如果没有就按链接顺序抓取。
robots文本的作用是什么
告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
1，用robots屏蔽网站重复页
2，用robots保护网站安全
3，防止盗链
4，提交网站地图
5，禁止某二级域名的抓取
robot文件的一个指定用语。
User-agent: 控制各个搜索引擎蜘蛛
Disallow: 不允许抓取莫某
allow: 允许抓取某某
* 星号代表所有
上一篇： 返回列表 下一篇：什么是h1标签？h1标签对深圳seo优化来说为什么那么重要？