远方的海
远方的海,WordPress,免费
2014 Oct 18 17 : 19

巧用robots给网站SEO集权,避免蜘蛛黑洞

您当前的位置: 首页 > 建站资源 > SEO > 正文
欢迎光临远方的海!您可能还对 WordPress建站免费资源最新IT动态 感兴趣,点击开启 悦读 模式。CTRL+D 快捷收藏本文,我们期待您再次光临!
[文章目录]

来自百度站长中心的建议:巧用robots避免蜘蛛黑洞。避免同一个页面被搜索引擎抓取不但可以减少页面的重复度,增加页面质量,也是一种对于SEO权重的集权,如果一个页面的权重是1,分散到10个一样的页面,结果是可想而知的。

什么是蜘蛛黑洞

对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。

比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况呢?

我们以北京某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的:

对于普通的筛选结果页,该网站选择使用静态链接,如:

http://bj.XXXXX.com/category/zizhucan/weigongcun

同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如:

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。

robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。

以上引用来自百度站长中心,原文:http://zhanzhang.baidu.com/wiki/326

修改Wordpress网站的robots.txt

WordPress网站的权重常常会分散到各个页面中去,比如tag标签页面,作者页面,评论分页面…为了避免这样的情况,我们可以修改自己的robots.txt。

关于robots.txt的用法很简单,放在网站的根目录下就OK啦!如果想查看你的robots.txt是否放置正确,可以去百度站长中心检测robots.txt的设置是否正确。

下面给出本站所用的robots.txt给大家参考。

Disallow: /index.php
Disallow: /index.html
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /*/feed
Disallow: /trackback/
Disallow: /page/
Disallow: /*?*
Disallow: /*comment-page*
Disallow: /tags
Disallow: /tag/
Disallow: /go/
Disallow: /function.*
Disallow: /user/
Disallow: /author/
Disallow: /login
Disallow: /register
Disallow: /seavia_to.php?*
Sitemap: http://www.seavia.com/sitemap.xml

以上。

好文!分享给朋友,或者点个赞吧~

文章信息

分类:SEO 建站资源

您可能也会喜欢

发表回复

Post Comment


  1. JV :

    刚开始我也不懂 Disallow: /*?* 这条。后来对外链优化才知道的。这里的知识已经很全面了。

    2014-10-22
    • 远方的海水神 :

      jv你的代码高亮是怎么聚合到主题里面的有教程吗?

      2014-10-23
      • JV :

        我用的是 SyntaxHighlighter,直接加载js,然后改了css样式,去掉了行号和提示工具。然后js执行$(document).ready(function() {SyntaxHighlighter.all();}); 就行了。

        2014-10-23
        • 远方的海水神 :

          哈,我下次试试!

          2014-10-23
  2. 消灭星星 :

    很好的技巧

    2014-10-21
    • 远方的海水神 :

      谢谢亲!!☆⌒(*^-゜)v

      2014-10-22
  3. www.xmweixin.com :

    我就不用 了 想他来都不来

    2014-10-21
    • 远方的海水神 :

      经常更新它就来,百度蜘蛛半小时就会来我这爬一次。

      2014-10-21
  4. 我一直想改 :

    一直没找到我的robots.txt 到底在哪里 根目录没有,百度检测又有

    2014-10-21
    • 远方的海水神 :

      你这可能是装了什么插件,插件内部自己设置了。

      2014-10-21
  5. 选矿设备 :

    哈哈!好久没见你了。

    2014-10-20
  6. 凉拌炒蛋炒饭 :

    好用,必须赞

    2014-10-19
    • 远方的海水神 :

      哈哈!好久没见你了。

      2014-10-20
  7. wu1yi2fan :

    沙发!很有用的东东。就是不会写WordPress的Robots协议,所以以前就根据异次元的Robot来写。现在总算知道该怎么写Robot啦。

    2014-10-18
    • 远方的海水神 :

      wordpress的robots主要还是为了SEO集权啦!最后加个sitemap地址,一般都是这样~

      2014-10-19