SEO学习会 Lesson 12 辨别真正的爬虫程序

查看文章

2008-07-24 17:19

如何防止冒充Google或者Baiduspider的爬虫程序增加服务区负荷？

最好的做法是利用DNS的反向解析,判别是不是Google或者Baidu的IP

linux命令如下：

> host 66.249.66.1

1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

遗憾的是，百度的蜘蛛无法反向解析，只能记住IP了。