• “钱妞”顶灰蓝头发亮相 接受《早安美国》访谈心情好 2019-09-13
  • 田夏彪学习、创新、反思:教育改革的关键词 2019-09-10
  • 公婆儿媳争讨房租租客不知给谁 司法所介入调解 2019-09-09
  • 郁可唯新造型中央车站开唱 “短发也可以性感和可爱” 2019-09-05
  • 林志玲现身机场穿粉色上衣变活力少女 2019-09-05
  • 第三届世界互联网大会 2019-09-03
  • 全运有约:李冰洁谈个人参赛感受和训练生活 2019-09-03
  • 故事中美两军举行人道主义救援减灾联合实兵演练 2019-08-13
  • 掌握新思想 开拓新实践——深入贯彻落实党的十九大精神系列述评之二 2019-07-30
  • “草原英雄小姐妹”走进山城 2019-07-01
  • 高清:里约奥运会奖牌曝光 大部分由再生材料制成 2019-06-27
  • 在楼主大谈共产主义分配的时候,希望楼主先说明一下对马克思关于共产主义基本原则的理解。一个社会如果仍然存在“按劳动分配”,怎么会是“每一个个人的全面而自由的发展” 2019-06-25
  • 河北法院:打造互联网+诉非衔接的人民法庭工作新机制 2019-06-25
  • 芯片是汽车产业发展的基石  专家呼吁建立"汽车芯片智库" 2019-06-13
  • “高深文学创作回顾研讨会”在北京举行 2019-06-13
  • 欢迎访问

    云南11选五走势图500期:云南鼎浩信息技术有限公司官方网站,云南网站建设诚信品牌!

    DING HAO COLUMN 鼎浩专栏

    鼎浩的一些分享
    Sharing from Ding Hao

    网站改版带来的404抓取错误解决实践

    来源:云南11选五走势图500期     2013年06月05日50:01
    字号:T|T

    云南11选五走势图500期 www.a-mcl.com 网站建设中一项重要的工作就是改版,每次改版肯定是往好的方面进行,因为每个阶段的定位不同,我们要网站所表现的企业形象也不同,而且一个好看大气的网站绝对能够在潜在客户心里提升我们公司的地位。但是多数的改版对于我们网站的SEO都会造成一定的影响,这里就需要我们对网站的情况掌握的非常熟悉之后,然后进行有效地控制,减少改版造成的404页面过多情况。

    最近有一个新网站上线,因为是一年多的域名,之前网站和新站内容完全不同,网站结构也做了很大的调整,所以带来了很多的404错误抓取页面,当时并没有特别注意这个问题,后来持续更新了2个星期左右,发现快照都没有更新,发了一些简单的外链也没有作用,这个问题就引起了我的注意。下面具体的跟大家分析下自己的一些思路:

    1、利用日志分析工具找到404错误抓取页面

    日志分析工具利用最常用的光年日志分析工具就可以了,首先利用FTP下载好最近几天的网站LOG日志,当然,想更多的分析,那么多下载一段时间的LOG日志也可以,利用日志分析工具新建任务分析各个阶段的百度蜘蛛抓取情况,这里主要考虑百度抓取情况,因为建立这个分析工作的前提是快照停滞,收录为1。

    这里建议大家分为三个时间段来分析:

    A、分析最近一天的LOG日志,可以是今天的,但是最好是昨天的,因为昨天的会比较全,今天的你即使是晚上来分析也会有一部分时间没有统计到。

    B、分析改版之后的LOG日志,因为这涉及到百度蜘蛛对于网站改版的一些判断,例如我们可以分析百度蜘蛛什么时候开始判断网站已经改版,或者什么时候已经放弃对于旧站URL的抓取等等。

    C、改版前后抓取量的对比,分析改版对于百度蜘蛛的抓取量影响多大。

    至于日志分析工作后面的分析工作都是一键式的,具体的分析思路有了之后,我们对照着进行分析,就会找到很多平时我们没有注意到的问题,例如下面出来改版造成的404页面,还有不少的页面也是404错误,我并没有意识到,例如下面的wp-login.php页面就是一个最典型的例子:

    404错误抓取页面

    404错误抓取页面

    2、利用百度站长工具中的死链提交工具进行死链提交

    百度站长平台LEE团队说:404状态码代表‘Not?Found’,spider更新时会认为该页面已失效,此时呢将在索引库中删除,短期内spider再次发现该url不再会抓取。当然,百度的说法只能作参考,因为分析网站日志发现,2个多星期百度蜘蛛还是来抓取这些错误页面,当然,百度对于404错误页面的指导性操作,还是非常有针对性的。

    百度站长平台对404页面的看法

    百度站长平台对404页面的看法

    特别是死链提交工具中提交死链sitemap,这一条大家可以根据自身的情况进行死链提交,我这边提交后暂时还没有大的效果,因为大家都知道百度的效果展现周期一般都比较长。

    3、利用robots.txt和nofollow标签引导蜘蛛抓取

    404错误页面一个最大的坏处就是给蜘蛛带来一些错误的抓取,浪费了蜘蛛抓取资源,举个例子,首先我们要达成这样的一个共识:任何一个网站的蜘蛛抓取访问资源都是有限的,小网站自然要少很多,而大网站就要多很多,要想蜘蛛抓取率更高,抓取的更合理,那么一些错误的链接造成的404错误量就要尽可能的减少。

    所以我这里针对网站的这些资源的浪费进行了适当的引导,让蜘蛛抓取我想让他抓的一些页面,对于/wuchenshi/、/gaoxiao/等类似的栏目页面都进行robots限制抓取,对于网站中一些不参与排名的链接实行nofollow,引导蜘蛛抓取重要页面。下面看看蜘蛛6.3号抓取的情况,首先目录抓取中已经没有了网站中不存在的目录:

    蜘蛛对目录的抓取情况

    蜘蛛对目录的抓取情况

    对于蜘蛛访问的404页面,就只剩下一个图片的404错误抓?。?/p>

    改进后404错误抓取

    改进后404错误抓取

    目前还没有看到快照更新和收录增加,当然,理论上这种操作应该会帮助网站更快的获得搜索引擎的认可,后面如果有恢复,会在文章中为大家做一个补充。

    本文由虚雨网络(//www.xuziyu.com) SEO虚子雨发表,欢迎大家转载,转载时请注明出处,谢谢合作!

    注:相关网站建设技巧阅读请移步到建站教程频道。

    客服中心
    点击进行在线咨询

    QQ咨询 咨询QQ:79929313 咨询QQ:88139574 咨询QQ:122790803

    咨询热线:0871-63399840

    客服热线:0871-63523332

    客服中心 客服中心
  • “钱妞”顶灰蓝头发亮相 接受《早安美国》访谈心情好 2019-09-13
  • 田夏彪学习、创新、反思:教育改革的关键词 2019-09-10
  • 公婆儿媳争讨房租租客不知给谁 司法所介入调解 2019-09-09
  • 郁可唯新造型中央车站开唱 “短发也可以性感和可爱” 2019-09-05
  • 林志玲现身机场穿粉色上衣变活力少女 2019-09-05
  • 第三届世界互联网大会 2019-09-03
  • 全运有约:李冰洁谈个人参赛感受和训练生活 2019-09-03
  • 故事中美两军举行人道主义救援减灾联合实兵演练 2019-08-13
  • 掌握新思想 开拓新实践——深入贯彻落实党的十九大精神系列述评之二 2019-07-30
  • “草原英雄小姐妹”走进山城 2019-07-01
  • 高清:里约奥运会奖牌曝光 大部分由再生材料制成 2019-06-27
  • 在楼主大谈共产主义分配的时候,希望楼主先说明一下对马克思关于共产主义基本原则的理解。一个社会如果仍然存在“按劳动分配”,怎么会是“每一个个人的全面而自由的发展” 2019-06-25
  • 河北法院:打造互联网+诉非衔接的人民法庭工作新机制 2019-06-25
  • 芯片是汽车产业发展的基石  专家呼吁建立"汽车芯片智库" 2019-06-13
  • “高深文学创作回顾研讨会”在北京举行 2019-06-13
  • 秒速飞艇计划网站 7博论坛 寿光彩票大奖 天津时时彩开奖号码lm0 河北快三456坐号出啥 广西快乐十分尾数走势图 天津时时彩现场开奖直播 安徽十一选五开奖结果图 彩票中心招聘 河南快赢481开奖号码 飞五通比牛牛 内蒙古十一选五前三值走势图百度乐彩 一肖中特今晚准 重庆时时彩开奖结果app 六肖中特免费公开资料