您当前的位置:首页 > 网站优化 > 什么是robots文件?它的作用是什么?为什么它对seo来说非常重要?


什么是robots文件?它的作用是什么?为什么它对seo来说非常重要?

作者:深圳网站优化 发布时间:2020-07-22 阅读量:

网站robots文本,是放在网站空间根目录下的一个txt文本。

网站robots怎么查看呢?

你的网站域名/robots.txt  ,这样可以查看任何一个网站的robots(如果他有这个文件的话)。


什么是robots。

是搜索引擎蜘蛛,在抓取网站前,先查看的一个文本,可以告诉蜘蛛,哪些可以抓,哪些不可以抓取。确定抓取范围,如果没有就按链接顺序抓取。

robots文本的作用是什么

告诉搜索机器人不要爬行我们的部分网页,比如:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。

1,用robots屏蔽网站重复页

2,用robots保护网站安全

3,防止盗链

4,提交网站地图

5,禁止某二级域名的抓取

robot文件的一个指定用语。

User-agent:  控制各个搜索引擎蜘蛛

Disallow:   不允许抓取莫某

allow:   允许抓取某某

*      星号代表所有

上一篇: 返回列表 下一篇:什么是h1标签?h1标签对深圳seo优化来说为什么那么重要?