远方的海
远方的海,WordPress,免费
2014 Oct 18 17 : 19

巧用robots给网站SEO集权,避免蜘蛛黑洞

您当前的位置: 首页 > 建站资源 > SEO > 正文
欢迎光临远方的海!您可能还对 WordPress建站免费资源最新IT动态 感兴趣,点击开启 悦读 模式。CTRL+D 快捷收藏本文,我们期待您再次光临!
[文章目录]

来自百度站长中心的建议:巧用robots避免蜘蛛黑洞。避免同一个页面被搜索引擎抓取不但可以减少页面的重复度,增加页面质量,也是一种对于SEO权重的集权,如果一个页面的权重是1,分散到10个一样的页面,结果是可想而知的。

什么是蜘蛛黑洞

对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。

比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况呢?

我们以北京某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的:

对于普通的筛选结果页,该网站选择使用静态链接,如:

http://bj.XXXXX.com/category/zizhucan/weigongcun

同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如:

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。

robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。

以上引用来自百度站长中心,原文:http://zhanzhang.baidu.com/wiki/326

修改Wordpress网站的robots.txt

WordPress网站的权重常常会分散到各个页面中去,比如tag标签页面,作者页面,评论分页面…为了避免这样的情况,我们可以修改自己的robots.txt。

关于robots.txt的用法很简单,放在网站的根目录下就OK啦!如果想查看你的robots.txt是否放置正确,可以去百度站长中心检测robots.txt的设置是否正确。

下面给出本站所用的robots.txt给大家参考。

Disallow: /index.php
Disallow: /index.html
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /*/feed
Disallow: /trackback/
Disallow: /page/
Disallow: /*?*
Disallow: /*comment-page*
Disallow: /tags
Disallow: /tag/
Disallow: /go/
Disallow: /function.*
Disallow: /user/
Disallow: /author/
Disallow: /login
Disallow: /register
Disallow: /seavia_to.php?*
Sitemap: http://www.seavia.com/sitemap.xml

以上。

好文!分享给朋友,或者点个赞吧~

文章信息

分类:SEO 建站资源

您可能也会喜欢

发表回复

Post Comment


  1. 气动隔膜泵 :

    杨烁离婚协议曝光化工离心泵
    吴鹤臣众筹百万电动隔膜泵
    玉龙雪山山体崩塌上海离心泵
    90后还过五四吗不锈钢螺杆泵
    掘金开拓者四加时污泥螺杆泵
    西安一小区大火气动隔膜泵
    朱一龙台风稳隔膜泵
    韩国考虑特使赴朝离心泵
    游客遭野象攻击多级泵
    余联兵意外身亡多级离心泵
    印度最强热带气旋隔膜计量泵

    宁静怒怼网友上海化工泵
    陈学冬胆子太大了上海隔膜泵
    泰国国王四婚上海隔膜计量泵
    恒大输给国安上海化工离心泵
    火星日出日落照片上海电动隔膜泵
    游客哄抢展览花上海不锈钢螺杆泵
    魅族股东变动上海污泥螺杆泵
    铁总回应买短乘长上海气动隔膜泵
    新郎婚礼沉迷游戏上海多级离心泵
    河北滦平发生命案上海多级泵

    气动隔膜泵
    上海离心泵
    多级泵
    隔膜计量泵
    化工离心泵
    电动隔膜泵

    2019-5-5
  2. JV :

    刚开始我也不懂 Disallow: /*?* 这条。后来对外链优化才知道的。这里的知识已经很全面了。

    2014-10-22
    • 远方的海水神 :

      jv你的代码高亮是怎么聚合到主题里面的有教程吗?

      2014-10-23
      • JV :

        我用的是 SyntaxHighlighter,直接加载js,然后改了css样式,去掉了行号和提示工具。然后js执行$(document).ready(function() {SyntaxHighlighter.all();}); 就行了。

        2014-10-23
        • 远方的海水神 :

          哈,我下次试试!

          2014-10-23
  3. 消灭星星 :

    很好的技巧

    2014-10-21
    • 远方的海水神 :

      谢谢亲!!☆⌒(*^-゜)v

      2014-10-22
  4. www.xmweixin.com :

    我就不用 了 想他来都不来

    2014-10-21
    • 远方的海水神 :

      经常更新它就来,百度蜘蛛半小时就会来我这爬一次。

      2014-10-21
  5. 我一直想改 :

    一直没找到我的robots.txt 到底在哪里 根目录没有,百度检测又有

    2014-10-21
    • 远方的海水神 :

      你这可能是装了什么插件,插件内部自己设置了。

      2014-10-21
  6. 选矿设备 :

    哈哈!好久没见你了。

    2014-10-20
  7. 凉拌炒蛋炒饭 :

    好用,必须赞

    2014-10-19
    • 远方的海水神 :

      哈哈!好久没见你了。

      2014-10-20
  8. wu1yi2fan :

    沙发!很有用的东东。就是不会写WordPress的Robots协议,所以以前就根据异次元的Robot来写。现在总算知道该怎么写Robot啦。

    2014-10-18
    • 远方的海水神 :

      wordpress的robots主要还是为了SEO集权啦!最后加个sitemap地址,一般都是这样~

      2014-10-19