百度空间 | 百度首页 
               
 
查看文章
 
什么是百度蜘蛛?百度爬虫是什么?
2008-09-11 10:37

    第一,百度蜘蛛极为活跃,经常看看你的服务器日志,你就怀发现百度蜘蛛抓取的频率和数量都非常大。百度蜘蛛几乎每天都会访问我的论坛,并且至少抓取几十个网页。我的论坛只开通了不到一个月,网页数目还没有完善,但是百度蜘蛛的活动已经相当可观了。大量捕获是百度的强项,其他任何搜索引擎都没办法相比。但是百度中文网页数目并不是最大的,百度蜘蛛抓取的频率和网页更新情况有关。天天更新的网站一定会吸引百度蜘蛛更频繁的访问,有一个非常明显的例子,http://www.linkgrand.com 这个域名比较(老),注册已经快一年了,开始做了一个学习站,感觉更新比较麻烦,而且也没有很多时间去维护,但是这个学习站是关于电脑方面的,虽然内容不多,但是页面却不下两W(是别人的整站源码),---第一天,几个好朋友光顾了一下,9IP,没想到

    第二天早上打开网站,居然发现从百度来了100多IP!!奇迹,百度蜘蛛就有这么神气,site:http://www.linkgrand.com ,查一下,晕了,一晚上时间,被收录了2000多页??

   应该说这个学习站继续做下去有点前途,但是我时间还真不够用,所以K掉了这个学习站,用这个域名做了一个笑话站,有留言,也有网友上传,轻松多了,不过这下被收录的页面全部是死链,要从头开始了吧,但是我又错了,第三天:这个笑话站又被全面抓取了,!!!,----我发现百度对天天更新的站最敏感!,彻底换内容更敏感----哈哈,看来这个机器人也是喜新厌旧的家伙啊!

    最近还是因为时间不够,又用这个域名改了论坛,不知道还有没有奇迹出现--我相信只要内容够多(百度蜘蛛也贪),你站的内容如果不达到么个数目,它可能懒得理你,具体多少,好象是百度内部机密,哈哈

第二,我注意了一下蜘蛛似乎更注重页面内的因素。与Google更加重视内部,有点爬虫类的味道,越黑越深,它越是喜欢往里钻,--不相信你做100个页面,做得再漂亮,只要链接没有层次,哈哈,不好意思,你最多就孤零零的被收录可怜的一点点东西。我前两个站开通不到一个月,也很少有外部链接。但因为本身的结构是比较有层次,一些竞争不太激烈的关键词在百度的排名还不错。

第三:要想排名靠前,目标关键词应该完整匹配地出现在页面中。比如说,你想让你的网站在用户搜索”电脑学习”时出现在前面,那么在你的网页上,”电脑学习”这四个字应该完整连续的出现,而不能”电脑”出现在第一段,”学习”出现在第二段。

第四:百度排名算法是以网页为基础,比较少关注整个网站的主题。联系到上一点,这说明百度排名算法中比较注重内部结构缺少完整的语义分析。所以一些目前比较认同的关于site:之间那几个所谓关系到搜索质量的东西,并不是百度蜘蛛所最敏感的,

第五:百度并不被所谓的优化迷惑!!GG对优化好象远远没有百度敏感,百度尤其反感所谓的优化,不知道是用什么方法识别----我的看法是目前最”先进“ 的优化方法,好象对百度没什么大的作用,大家都这么干了,机器人是有点死脑筋,但是百度那些IT也不是吃白饭的哈,要知道他是全球最先进的中文搜索老大,,GG在中文搜索这快--哈哈,不用说了吧:)没得比!

第六:充分利用百度的一个最大的优势--大家可能觉得它的优势对我们来说就是难事了嘛:呵呵,的确是可以利用的,百度收录速度可以用海量来形容,正因为速度快,就给我们留下了可以利用的空间!---回头来还是要说到优化了:)--虽然百度对优化并不感冒,但是只要你优化方式友好,还是能起到不错的效果,--我比较认同适量优化!--至于到底优化到什么程度才是最佳?我也不能说出1,2,3。呵呵--但是别忘了,因为百度收录太快,我们就可以经常使用一些不同的方法测试效果,,而且百度蜘蛛也乐意你天天给它玩新花样,呵呵,看来这个神秘的东西也是有点孩子气的哈,需要人来哄哄,也爱凑凑热闹--好象这样做还有一个好处,如果你的站从来都懒得去玩花样--哈哈,那很可能哪天蜘蛛不再光顾你的网站了,为什么? K掉了嘛!--百度蜘蛛有一个青蛙一样的眼睛吧,呵呵,动的东西再远也能看见,而且特别注意,静的东西在它身边也未必能看见!

博客文章汇总:

如何科学饮水   供应WIFI(提供 wince linux下驱动)  

合肥市政府原副秘书长受贿240万被判13   百度C2C支付平台定名百付宝 域名地址昨曝光

LHC 的加速过程   什么是百度蜘蛛?百度爬虫是什么?    百度确定推C2C支付平台 电子商务大战一触即发   

无线音箱(出售)  

LINUX下无线网卡驱动程式安装的一般步骤  

云时代来临之云计算的四个显著特点 云计算时代来临 云计算到底指什么 随着安全云计算的热潮 您准备好了吗  

云计算的基本原理和概念  

发现一个靠点击广告就能赚美元的网站

Writing Linux LCD drivers

WinCELCD驱动程序编写指南

关于MODULE_PARM()  

Linux环境下USB的原理、驱动和配置2

Linux环境下USB的原理、驱动和配置1

腾讯发布QQ for Linux 1.0 Preview  

搜索引擎正在逐步抹杀人类的记忆和思考

[转载] Linux内核2.4.x的网络接口源码的结构  

Zigbee入门开发  

中国会面临金融战争的灭顶之灾吗?    不断增长的外汇储备,是中国政府的心病  

两粒电子的爱情  

zigbee简介  

银监会令深上报断供真相MTK是什么?  

[出售]WIFI模块,WIFI方案VT6656+RFUSB接口,MINIPCI接口   

鸟巢山寨机,玩的就是心跳   

ARM Bootloader的共性  

Jennic-zigbee开发套件

供应jennic无线模块 > jn5139高功率模块

吴宇森首度回应质疑萌萌是可爱的错误   

《赤壁》中的精彩与搞笑  

日本第一钻石王老五”--青山光司 日本第一钻王老五”--青山光司  

谁来拯救中国3760亿美元财富  

什么是无线网卡?

电磁辐射会失忆

中国产山寨手机热销巴基斯坦 难定位恐怖分子  

Zigbee标准可能成为自动化的未来动力

无线网络知识收集 无线增益天线认识和选购  

功率放大器"增益放大器"的区别   

无线问题面面观

噪声与信噪比  

zigbee软件设计  

什么是ZigBee无线网络?  

PLC 电力载波通信  

Introduction to IT800D  

超外差和超再生模块有何区别?  

飞弹发射失败怎么办?用 Photoshop 补一枚上去!   

Linux Driver Model()  

Power   Management in the Linux Driver Model(2.6.14)()  

WDM(Windows Driver Model)学习()  

Google问:手机还能拿来做什么?   

USB Dongle VT6656   

IEEE1394  

接收灵敏度   

JN5139 Wireless   Microcontroller  

JN5139-xxx-M02 高功率模块   

ZigBee架构WG议长:ZigBee与蓝牙可以共存  

基于ZigBee的无线网络技术及其应用  

Zigbee可能成为自动化的未来动力  

zigbee简介  

JN51xx开发套件  

ZigBee网络层


类别:默认分类 | 添加到搜藏 | 浏览() | 评论 (0)
 
最近读者:
 
网友评论:
发表评论:
姓 名:
网址或邮箱: (选填)
内 容:
验证码: 请点击后输入四位验证码,字母不区分大小写
      

     

©2009 Baidu