027-87227388

robots.txt文件的作用和写法

发布时间:2020-11-24 浏览:102

  robots.txt协议是网站和搜索引擎的协议。

  作为网站优化人员,一定要会看robots文件,也要会写robots文件,那么,robots.txt文件有什么作用?

  robots.txt文件的作用有:

  (1)引导搜索引擎蜘蛛抓取指定内容或栏目。比如,有的网站部分内容,只有注册会员后,登陆会员功能才能看到更多内容。

  (2)网站改版或者URL需要重写优化的时候屏蔽对搜索引擎不友好的链接。

  (3)屏蔽死链接、404页面;

  (4)屏蔽无内容页面、无价值页面;

  (5)屏蔽重复页面,如搜索结果页、评论页面等;

  (6)屏蔽任何不想收录页面;

  (7)引导蜘蛛抓取网站地图。

  网站设置robots.txt可以集权到网站重要页面,保护网站安全。

  知道了robots.txt的作用和设置robots.txt的必要性后,我就要知道robots.txt怎么写?

  User-agent:Baiduspider

  Disallow:/

  禁止百度抓取

  User-agent:*

  Disallow:/

  不允许所以蜘蛛抓取

  User-agent:Baiduspider

  Disallow:/baidu/

  禁止访问/baidu/里面的所有文件夹

  User-agent:*

  Disallow:/baidu/huaxia.js

  紧张蜘蛛抓取某个文件夹下面的某个内容

  知道了这些,我们就根据robots.txt文件的写法和实际需要。把写好的robots.txt文件,通过FTP网站后台打开上传网站跟目录就可以了。

  为了方便各位朋友学习,robots.txt文件我们举例写一下,供需要学习的朋友参考:

  User-agent: *

  Disallow: /baidu/huaxia.js

  指定所有搜索引擎蜘蛛抓取站点根目录下/baidu/文件夹下的huaxia.js文件

  User-agent: *

  Allow: /baidu/ccc

  Disallow: /baidu/

  禁止所有搜索引擎抓取baidu文件夹

  但可以抓取百度文件夹下含有ccc的文件及文件夹

  User-agent: *

  Disallow: /*.js$

  禁止抓取站点根目录所有js文件

  User-agent: *

  Disallow: /*.css$

  禁止抓取站点根目录下所有css文件

  User-agent: *

  Disallow: /*?*

  禁止蜘蛛抓取所有动态路径