葫芦侠资源网免费资源大全!

首页自学教程SEO教程正文

robots.txt文件到底是干什么的?

悟空1个月前135robots.txt文件到底是干什么的?

robots.txt为搜索引擎提供指引!

robots.txt的作用

1、引导搜索引擎蜘蛛抓取指定栏目或内容;

2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接;

3、屏蔽死链接、404错误页面;

4、屏蔽无内容、无价值页面;

5、屏蔽重复页面,如评论页、搜索结果页;

6、屏蔽任何不想被收录的页面;


7、引导蜘蛛抓取网站地图


转载声明:本站发布文章及版权归原作者所有,转载本站文章请注明文章来源!

本文链接:http://www.huluxiazy.com/post/207.html

网友评论