Lucene倒排索引原理

　　Lucene是一个高性能的java全文检索工具包，它使用的是倒排文件索引结构。该结构及相应的生成算法如下：

　　0）设有两篇文章1和2

　　文章1的内容为：Tom lives in Guangzhou,I live in Guangzhou too.

　　文章2的内容为：He once lived in Shanghai.

　　1)由于lucene是基于关键词索引和查询的，首先我们要取得这两篇文章的关键词，通常我们需要如下处理措施

　　a.我们现在有的是文章内容，即一个字符串，我们先要找出字符串中的所有单词，即分词。英文单词由于

在eclipse中调试nutch很方便的，以下是配置的步骤：

File > New > Project > Java project > NEXT

选择从现有的souce来创建工程"Create project from existing source" 选择nutch的主目录

下一步

把conf目录添加到classpath(选择在项目的build选项里面)

把"src/java", "src/test" 还有所有的扩展（plugin）中的 "src/java" 和 "src/test" 添加到源代码目录（ source

经过搜索网页和邮件列表,似乎很少有关于如何使用分布式文件系统(HDFS)Hadoop和MapReduce来设置Nutch(原来称作NDFS)的文章。 这份指南提供了在多台机器上使用Hadoop文件系统一步一步地运行Nutch,包括能够通过多台机器运行索引(抓取)和搜索。

这份文件并未深

Crawler和Searcher两部分被尽是分开，其主要目的是为了使两个部分可以布地配置在硬件平台上，例如Crawler和Searcher分别被放置在两个主机上，这样可以极大的提高灵活性和性能。
一、总体介绍：

    1、先注入种子urls到crawldb
    2、循环：

• generate 从crawldb中生成一个url的子集用于抓取
• fetch 抓取上一小的url生成一个个segment
• parse 分析已抓取segment的内容
• update 把已抓取的数据更新

一个成熟的商业搜索引擎的cache应该是比较成功的，因为在长期的实践中证明 cache的好坏很大地影响着搜索引擎的效率。虽然I/O、算法等等很大地影响着搜索效率，但是在相差不大或着说在同一数量级上时，cache却可以让引 擎的效率成倍或大大地提高。在nutch中当然也是有cache的，只不过比较初级而已。
       在nutch中负责cache的是LuceneQueryOptimizer

Nutch的Analysis包详解

http://i.cn.yahoo.com/babatu/blog/p_7/