现在的位置: 首页 > 搜索引擎优化 > 正文

wordpress robots.txt如何写利于seo?

2012年04月22日 搜索引擎优化 ⁄ 共 1747字 评论数 8 ⁄ 阅读 4,189 次
wordpress-robots

wordpress-robots写法

wordpress博客robots.txt如何写?这个问题是很多wp新手纠结的事情,一方面对robots.txt写法不太了解,另一方面又想得到个权威的写法,但奈何wp博客大佬们各有各的写法,于是亲们就纠结了。今天笨鸟给大家分享一下wordpress博客robots.txt最常规、常见的写法,刚做博客的新手可以借鉴一下。

笨鸟的wordpress博客robots.txt写法是这样的:

其中,Disallow: /wp-admin/和Disallow: /wp-includes/是为安全性考虑的,而其他是为seo考虑,有些博客把评论也给robots禁止了,但笨鸟博客目前评论不多,所以也就对这个不在乎了。最下面的的博客地图,是给百度、谷歌等这些蜘蛛看的

下面我们简单介绍一下robots.txt以及其他人的robots写法。
robots.txt介绍
robots.txt是一个纯文本文件,robots.txt文件用以告诉搜索引擎哪些网页可以收录,哪些不允许收录。搜索引擎蜘蛛spider(Googlebot/Baiduspider)来访问你的网站页面的时候,首先会查看你的网站根目录下是否有robots.txt文件,如果有则按照里面设置的规则权限对你网站页面进行抓取和索引。
robots.txt作用
通过设置屏蔽搜索引擎访问不必要被收录的网站页面,可以大大减少因spider抓取页面所占用的网站带宽,小网站不明显,大型网站就很明显了。
设置robots.txt可以指定google或百度不去索引哪些网址,比如我们通过url重写将动态网址静态化为永久固定链接之后,就可以通过robots.txt设置权限,阻止Google或百度等搜索引擎索引那些动态网址,从而大大减少了网站重复页面,对SEO优化起到了很明显的作用。
robots.txt的注意事项
1、如果你的站点对所有搜索引擎公开,则不用做这个文件或者robots.txt为空就行。
2、robots.txt必须放置在一个站点的根目录下,在子目录下无效。如:通过http://www.ecdoer.com/robots.txt 可以成功访问到,则说明本站的放置正确。
3、robots.txt,User-agent,Disallow等必须注意大小写,不能变化。
4、User-agent,Disallow等后面的冒号必须是英文状态下的,冒号后面可以空一格,也可以不空格。
5、User-agent表示搜索引擎spider:星号“*”代表所有spider,Google的spider是“Googlebot”,百度是“Baiduspider”。
6、Disallow:表示不允许搜索引擎访问和索引的目录。至少要有一个Disallow函数,如果都允许收录,则写: Disallow: ,如果都不允许收录,则写:Disallow: / (注:只是差一个斜杆)。

wordpress官方给出的robots.txt示例写法

 

zac博客的robots.txt写法

 

关键词:wordpress robots.txt写法,wordpress robots写法,wordpress robots.txt,wordpress robots

» 声明:本站文章源于个人经验总结或书籍、互联网转载,内容仅用于个人学习,请勿转载,否则后果自负!

目前有 8 条留言 其中:访客:5 条, 博主:3 条

  1. AVENT : 2012年04月22日13:31:35  -49楼 @回复 回复

    你好 来学习下

  2. 大河笨鸟 : 2012年04月22日16:49:53  -48楼 @回复 回复

    这个小文章搞到凌晨4点多……

  3. t.k. : 2012年09月22日20:27:46  -47楼 @回复 回复

    第一次听说robots.txt,学习了。


    • 管理员
      大河笨鸟 : 2012年09月23日12:18:08  地下1层 @回复 回复

      robots.txt是seo里一个基础,对搜索引擎很重要

      • t.k. : 2012年09月23日12:29:15  地下2层 @回复 回复

        哦。。。看来我好笨哦。。。SEO是什么?

      • t.k. : 2012年09月23日12:31:53  地下2层 @回复 回复

        嘿嘿。。。上一条我email填写错了。。。


        • 管理员
          大河笨鸟 : 2012年09月23日21:36:29  地下3层 @回复 回复

          SEO不是什么重要的东西,不用太在意

给我留言

留言无头像?