分享好友 资讯首页 频道列表

我来分享: “抓取异常”搜索引擎蜘蛛不能爬行的原因

2017-08-08 00:53380
 “抓取异常”搜索引擎蜘蛛不能爬行的原因
有些网页内容优质,用户也可以正常访问,单是搜索引擎知足却无法正常访问抓取,照成搜索结果覆盖率缺失,这对网站优化是一种损失。百度把这种情况叫做“抓取异常”对于大欸容无法正常抓取的网站。百度为认为该网站的用户体验度左右的不好,会降低对网站的评价,导致在抓取,索引,排序出现负面影响。最终会减少网站的百度流量获取数。那么常见“抓取异常”都有哪些原因呢?
   1.服务器连接异常
     1.1站点不稳定 让百度蜘蛛出现暂时无法链接的问题
     1.2百度蜘蛛引擎一直无法连接网站的服务器
而以上的问题出现通常是网站服务器过大,超负荷运转,也哟可能是网站运行不正常 。须检测web服务器是否安装且正常云南行。并使用那浏览器检查主要页面能否正常访问。此外,网站和主机还可能会阻止百度搜素引擎蜘蛛的访问,只是需要检查网站和主机的防火墙。
2.网站运营商问题
需与网络运营商ianxi,购买双线服务的空间,或购买CDN服务
3.DNS异常
百度引擎蜘蛛无法解析网站的IP地址会出现DNS异常。可能是网站的IP地址错误或者域名服务商封禁的问题。可以用WHOIS或者host查询结果。如果不正确,需联系域名注册商,更新IP地址
 
4.IP的封禁 需要检查相关设置,是否添加了百度搜索引擎的IP地址。
5. UA封禁  需要查看User-agent的相关设置中是否有被百度搜索引擎的UA,并及时予以修改
6.死链  有协议死链和内容死链两种处理方式,其中建议使用协议死链。并且通过百度站长平台-死链功能根据体哦啊叫以便百度更快的发现死链,并删除
7.异常跳转 将网站请求重新指向其他文职即为跳转。对于长时间跳转到其他域名的情况,如网站更换域名,百度建议使用201跳转协议进行设置。
   8.其他异常
  8.1针对百度refeR的异常  
  8.2 针对百度Ua的异常
  8.3 JS跳转异常
  8.4 压力过大引起的偶然封禁
举报 0
收藏 0
打赏 0
给大家分享地推资源整合平台:10个优质地推拉新项目分享
在当今移动互联网的浪潮中,地推依旧是众多app和企业获取新用户、提升品牌知名度的重要手段。然而,随着市场竞争的加剧,地推人

0评论2024-11-06215

站长基础交流之商城网站如何做才能吸引客户
随着互联网时代的到来,很有热爱逛街的人们,已经放弃了到实体店进行购物,开始了他们非同寻常的购物体验,每天在各种购物商城上

0评论2017-12-201077

站长基础交流之网站运营技巧之如何吸引目标客户
很多处于创业初期的企业都会在网站运营时遇到许多问题,最重要的问题之一就是构建企业品牌知名度,而想要出名那就需要在市场中混

0评论2017-12-20881

站长基础交流之 网站关键词排名不上去的原因
1、网站方向定位问题。建设网站之前,首先要了解用户人群以及自己能够提供的服务,同时结合行业特点定制适合自己风格的网站类型; 

0评论2017-12-20800

站长基础交流之研究关键词的意义
研究关键词的意义主要在于以下几个方面:  一、保证关键词是有人搜索的  做SEO优化,其中最重要的就是选择适当的关键词,选

0评论2017-12-20960

站长基础交流之网站无效页面的表现形式
网站中哪些页面被称为无效页面?  一般来说,无效页面对用户来说,就是没有价值的页面,其主要特征为:  1、对搜素引擎来说没

0评论2017-12-20850