The C10K problem

如今的web服务器需要同时处理一万个以上的客户端了，难道不是吗？毕竟如今的网络是个big place了。

现在的计算机也很强大了，你只需要花大概$1200就

前言   

      数据抽取技术主要采用的是网页包装的方法 , 其研究主要集中在抽取方法之上 ,   

Singleton模式(单件模式)

Singleton模式确保一个类在系统中只有一个实例。比如一个窗口系统中只能有一个鼠标对象，只有一个屏幕对象，一个剪切板对象...。我们可以用一个全局变量来做这些工作，但它不能防止实例化多个对象。一个更好的办法是让类自身保存它的唯一实例，并且不允许创建其它实例，这就是Singleton模式。

Loki库的SingletonHolder类提供了对Singleton模式的支持

头文件

另一个设置文件搜索路径的方法是使用make的“vpath”关键字（注意，它是全小写的），这不是变量，这是一个make的关键字，这和上面提到 的那个VPATH变量很类似，但是它更为灵活。它可以指定不同的文件在不同的搜索目录中。这是一个很灵活的功能。它的使用方法有三种：

1. vpath < pattern> < directories>
   为符合模式< pattern

作者:陈皓. 来源:http://www.csdn.net

http://www.stlchina.org/twiki/bin/view.pl/ScriptProgram/LearnMakefile

http://www.stlchina.org/

www.cppreference.com

最优秀的STL使用学习网站： http://stl.winterxy.com/

C++编程：http://www.cppprog.com/

搜索引擎/网络蜘蛛程序代码

国外开发的相关程序
1、Nutch

官方网站 http://www.nutch.org/
中文站点 http://www.nutchchina.com/

最大socket写buffer,可参考的优化值:873200

$ /proc/sys/net/core/rmem_max
最大socket读buffer,可参考的优化值:873200

$ /proc/sys/net/ipv4/tcp_wmem
TCP写buffer,可参考的优化值: 8192 436600 873200

$ /proc/sys/net/ipv4/tcp_rmem
TCP读buffer,可参考的优化值: 32768 436600 873200

$ /proc/sys/net/ipv4/tcp_mem
同样有3个值,意思是:
net.ipv4.tcp_mem[0]:低于此值,TCP没有内存压力.
net.ipv4.tcp_mem[1]:在此值下,进入内存压力阶段

ps命令实例讲解

1、bc中的scale

echo "scale=0;13 * 0.6 "|bc

echo "scale=0;13 * 0.6 / 1"|bc -l

Jared Liu: bc做乘法是不受scale变量影响的，想解决这个问题就是第二种trick吧

2、bc的小数运算和四舍五入

echo "scale=2;2/3"|bc

awk BEGIN'{printf "%.2f\n", 2/3}'

awk BEGIN'{printf "%.0f\n", 2/3}'

Jared Liu: bc计算出来的结果小于1的时候（>0），整数部分会为空，而awk在制定float的

搜索引擎最佳化（Search Engine Optimization: http://baike.baidu.com/view/1047.htm

SOA http://baike.baidu.com/view/21305.htm