Tineye：相似图片的选择

http://tineye.com

Tineye利用已有的图片来寻找目标图片。目标图片可以是和原始图片相同或类似的不同分辨率、经过裁剪、修改等变化，Tineye都可以顺利地把它们识别出来。

Multicolour：用缤纷色彩找图

http://labs.ideeinc.com/multicolr/

Multicolour可用于搜索自己需要颜色的相关素材

Visual：步步接近原图

作为Lucene和Nutch两大Apach Open Source Project的始创人(其实还有Lucy, Lucene4C 和Hadoop等相关子项目)，Doug Cutting 一直为搜索引擎的开发人员所关注。他终于在为Yahoo以Contractor的身份工作4年后，于今年正式以Employee的身份加入Yahoo

下面是笔者在工作之余,翻译其一篇2年前的访谈录，原文(Doug C

Robots协议是Web站点和搜索引擎爬虫交互的一种方式，Robots.txt是存放在站点根目录下的一个纯文本文件。该文件可以指定搜索引擎爬虫只抓取指定的内容，或者是禁止搜索引擎爬虫抓取网站的部分或全部内容。当一个搜索引擎爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索引擎爬虫就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索引擎爬虫就沿着链接抓取。

另外，robots．txt必须放置在一个站点的根目录下，而且文件名

5月13日，谷歌英文版率先推出了“options”功能，为了保持与国际同步，据内部人士透露李开复对此高度重视，开发团队由刘峻亲自带队受命立下军令状：保证“options”中文版在一周内上线！5月20日，“百宝箱”登陆谷歌中文搜索，时间上不多不少，正好一周！

IM手机搜索引擎——Byoms

RSS feed和博客搜索引擎——Feedster

①Google使用高速的分布式爬行器(Crawler)系统中的漫游遍历器(Googlebot)定时地遍历网页，将遍历到的网页送到存储服务器(Store Server)中。

② 存储服务器使用zlib格式压缩软件将这些网页进行无损压缩处理后存入数据库Repository (贮藏室)中。Repository获得了 每个网页的完全Html代码后，对其压缩后的网页及URL进行分析，记录下网页长度、URL、URL长度和网页内容，并

一个网页重要性的分析的算法，根据一个网页的入度（指向此网页的超链接）和出度（从此网页指向别的网页）来衡量网页的重要性。其最直观的意义是如果一个网页的重要性很高，则他所指向的网页的重要性也高。一个重要的网页被另一个网页所指，则

聚焦爬虫，又称主题爬虫（或专业爬虫），是“面向特定主题”的一种网络爬虫程序。它与我们通常所说的爬虫（通用爬虫）的区别之处就在于，聚焦爬虫在实施网页抓取时要进行主题筛选。它尽量保证只抓取与主题相关的网页信息。

聚焦爬虫的研究核心，集中在以下两点：