终于回来了，好久没有上来了

忙死了，有的时候感觉帮忙真是一门艺术

帮不好，可能.......。不说也知道拉

哎！真得好好睡睡了！

       Yahoo，Google和Microsoft，三家联合推出了sitemaps的标准，基本上是基于Google Sitempas的。

       现在三家搜索引擎公司，都支持一样的标准，给了站长们很大的便利，不必使用不同的标准，做不同的文件了，只要一个Sitemaps文件，就可以涵盖了。

       而且还有一个新的网站sitemaps.org负责公共的sitemaps的事宜。

       而在Yahoo提交的

什么是Sitemap，他有什么作用？

       Sitemap的作用就好像为网站提供了整站的RSS，而Google就是这些RSS的订阅者，只要网站有更新就会自动通知Google。这样一来，搜索引擎的收录由被动的Pull变成了主动的Push。

       以前记得我在一个博客上看到过一个国外的的Sitemap的在线生成工具。 

       不过那个限制是一次只能生成500个左右的网址，而且最近国外的线路问题也登陆不上去了，下

Originally written by
Ralf S. Engelschall <rse@apache.org>
December 1997

This document supplements the mod_rewrite reference documentatio

MSN Live Search的蜘蛛就有5种之多，让DavidYin给你细细道来：
1）MSNBot Main web crawler (www.live.com)
这个是工作最繁重的一个蜘蛛了，绝大部分的工作由它来完成。

2）MSNBot-Media Images & all other media (images.live.com)
这个是专门抓取图片和其它的媒体文件。

3）MSNBot-NewsBlogs News and blogs (search.live.com/news)
现在的Blog很流行，还有新闻网站

       如果你看过一些有关SEO的文章，一定会发现有这样一个名词“Google蜘蛛”，也叫做Google Spider。

常见的Google蜘蛛有两种:
       一种是搜索引擎用的，叫做Googlebot，它会访问制定的网页，收集该网页上的链接，而且会顺着这些链接找其他的网页，通过这些链接，把世界上的网页连成了一个巨大的网，所以这些在网络上爬行的Googlebot也被称为Google蜘蛛。

在Robots.txt文件里的写法和设定，如下：

对于一个完整的网站来说,robots.txt是一个必不可少的文件,它是用来告诉搜索引擎抓取的范围，包括哪些文件，哪些目录。

看一个例子：

# robots.txt file start 

# Exclude Files From All Robots:

User-agent: *
Disallow: /security/
Disallow: /admin/
Disallow: /admin.htm

# End robots.txt file

"User-agent:"应该是蜘蛛名字,现在用*代替了,表示对所有

baidu.com - 45% 
image.baidu.com - 15% 
mp3.baidu.com - 13% 
post.baidu.com - 10% 
zhangmen.baidu.com - 5% 
zhidao.baidu.com - 4% 
hi.baidu.com - 1% 
cache.baidu.com - 1% 
toolbar.baidu.com - 1% 
news.baidu.com - 1% 
passport.baidu.com - 1% 
Other websites - 3% 

进入:Google Black

       通常我们对于文本信息之间得相关性得计算都是采用向量的办法，我在以前的PPT里曾经提到过。然而对于文本信息更深层次的分析不能单纯从字面上分析一篇文章的关键词，更重要的是它隐含的扩展的意义。

       传统的关于计算文本相关度和【网页和查询的相关性】的计算都是采用匹配的方式进行的，然而这只能是基于字面意义上的统计计算。这里介绍的做法是采用关键词相关性扩展的做法从而得到更加精确的相关度计算。

例子：
 

        “nofollow”是Google两年前提出的一个防止垃圾链接的规范，很快被世界各大搜索引擎采纳。现在，为了防止垃圾制造者从其他网站的用户留言中获取不当利益，主流blog服务商和架站软件，也都对用户留言的链接添加了nofollow属性，这样，这些链接就不会被搜索引擎索引，从而让垃圾留言的SEO企图落空。

        不过从一开始，nofollow就面临不小的争议，有人甚至专门建立了一个No nofollow网站，来反对nofollow。最新一轮争议

2006年12月，Robin做了一个关于搜索引擎对JS的索引小实验，这个实验旨在为JS在SEO中的积极运用起到参考（具体的运用我将会在以后的文章里进行说明）。截止今天发这篇文章起，Google和Baidu已经收录了目标实验站点。

1：收录时间对比

Google比Baidu要先收录目标站点，而yahoo中文、live.com、sogou等搜索引擎尚未对目标站点进行索引。

2：收录的效果图

    加密传输的机制如下：浏览器先通过加密通道链接到一台服务器上：然后通过这个服务器再访问整个互联网。

                                     /  foo.com

浏览器 <==secure tunnel==>ssh server -   bar.com