领先的互联网基础服务提供商

联系我们 | 加入收藏 | 设为首页  

统一服务热线:0797-8297305 

网站首页  |  网站建设  |  经典案例  |  虚拟主机  |  域名注册  |  企业邮箱  |  优化推广  |  营销顾问  |  关于我们
 您的位置:首页 > 新闻中心
  公司动态
关于公司业务咨询时间新通告
网站备案不再愁,移交美国主
关于快速备案的通告
中秋节放假安排 2011
赣州九天网络科技有限公司搬
赣州九天网络招聘Asp程序
商务代表
电话客服
  行业资讯
Delicious的建设重
云在中国的影响
雅虎谷歌下周各自推类Fli
移动终端公司成立
谷歌上月经济支出如何
淘宝网的招聘信息网
谷歌推广无效点击
谷歌中国技术
  帮助中心
草根站长建站机会在哪里
租用服务器还是购买vps好
新浪博客应该如何调养
网页自动转向技术如何调节
网络创域依靠什么来自立
友情链接应该如何有限的处理
个人网站切忌进的误区
网站被百度和google封
 搜索引擎蜘蛛情态
发布时间:2011-10-27 9:03:37    阅览数:111 次     来源: 赣州九天网络     
 

赣州网站建设点评:搜索引擎蜘蛛情态

    列举一下各大搜索引擎蜘蛛的名字google蜘蛛: googlebot,百度蜘蛛:baiduspider,搜狗蜘蛛:sogou spider,搜搜蜘蛛:Sosospider,yahoo蜘蛛:slurp,alexa蜘蛛:ia_archiver,msn蜘蛛:msnbot,altavista蜘蛛:scooter,lycos蜘蛛: lycos_spider_(t-rex),alltheweb蜘蛛: fast-webcrawler,inktomi蜘蛛: slurp,有道蜘蛛:YodaoBot和OutfoxBot,热土蜘蛛:Adminrtspider 。当然这里只是象征性的列一下,就算分析日志的时候看到了也不要太奇怪,又或者你想禁止它们爬你的站点也是可以的。

      一句话总结蜘蛛的习惯google蜘蛛:不太爱爬,但爱收录。百度蜘蛛:爬谨慎,收录更谨慎。搜搜蜘蛛:爱爬图片,经常绕在动态地址里出不来。雅虎蜘蛛:恪守规则,每次都是先爬robots.txt。其他的没有太多留意,就不多说了。对于robots.txt的支持程度全部分析可能也不现实,这里拿Disallow: /*?*分析(禁止动态页面抓取)。google表现:写了禁止就不再爬,会在谷歌站长工具中列出来它想爬被你阻止了百度的表现:写了禁止之后很少爬,但是偶尔也会爬,相信是起作用了,因为越来越少,以前一天几次现在几天一次(赣州网站建设)。

    建网站需要量体裁衣.九天网络拥有专业的策划及实施团队,7*24H随时为您服务!
热线:0797-8297305
24H:13317087305
公司简介 | 帮助中心 | 行业新闻 | 团队介绍 | 服务理念 | 企业文化 | 付款方式 | 工作机会 | 联系我们
 
Copyright @ 赣州九天网络公司版权所有 赣ICP备10001670号
赣州市网站建设咨询电话:0797-8297305      
地址:赣州市西津路1号      
技术支持:www.2011.ink