查看文章 |
src/: Makefile make定义文件 config.h 目录,文件、目录的定义, make时由conf.head和conf.end生成 conf.head conf.end parker.h 头文件,各个程序的定义,
collect.c 搜集ftp站点数据的Ｃ代码源程序 collect.h 头文件 listfilter.c 能够比较自动的一些ftp站点列表文件中抽取从ip, 例如文件oldlist.txt如下: --------------------------------------- 南大FTP: 202.119.32.32 交大FTP: xxx.xxx.xxx.xx "good" 202.119.46.57 清华 166.111.19.56 .......... ........ --------------------------------------- 使用命令"listfilter oldlist", 可以得到 ----------------------------------- 202.119.32.101 xxx.xxx.xxx.xx 166.111.19.56 .......... ..... -----------------------------------
getdnsname.c ->bin/getdnsname 取得IP的DNS域名 convertmask.c 把从http://www.nic.edu.cn/RS/ipstat/internalip/ 取得的免费IP定义列表更新到$parker/HostData/Edu.mask
common.c 得到ftp的域名等信息等一些共同的函数 log.c 纪录搜索的历史, 放在 log/, 由search.c 调用 search.c 搜索用的cgi -<LZOData/* statist.c 显示统计信息的cgi -<Statist/* submit.c 提交新ftp站点的cgi ->etc/CollectList
minilzo.h miniLZO压缩函数库的头文件 minilzo.c miniLZO压缩函数库的主文件 lzoconf.h
lzo_comp.c 调用miniLZO压缩函数库的目录数据压缩器 lzo_fun.c 调用miniLZO压缩函数库的解压缩函数,供search.c调用
etc/: CollectList FTP服务器列表文件
LZOData/: 只存放搜集到的目录数据, 以ip为文件名, 以压缩格式存放.
HostData/: 存放站点的信息, ip.info为相应的域名， $IP.stat 各个FTP的统计数据,最后集合到stat stat 统计的原始数据 其他 按各个不同要求排序的结果 Inn.mask 为南京大学内部网络的IP定义, Nju.mask 为南京大学正式IP的定义. Edu.mask 为教育网的IP定义(免费)
log/: search.log 用户搜索的完整纪录 searchkey.log 搜索的关键字纪录 submit.log 用户推荐站点的纪录
tmp/: 工作目录
############################################################################# # 修改列表 ############################################################################# 4.0 (May-8-2001) (1)Support multi keywords, exclusion and filename extention. (2)FTP site Statistic, include number of files, sepcial archives like .rm,.mp3, Linux files(tar, gz, bz2),and show the last updata time. (3)show the updata time at each site when shows the search result. (4)sort the FTP sites, make the nearest site to the client as the first site. according to IP. (5)remove many useless features, include interface of telnet,gopher and dos utils. (6)remove Btree, less memory request, less harddisk space. can contain more site, more data. 如果使用Btree，当处理超过100M原始数据使需要超过250M的内存，在达到150个站点后有很多服务器会无法处理数据。 (7)在线推荐FTP站点, detect the site IP, DNS name and scope. and collect site data automaticly.
4.1 (May-20-2001) (1)使用LZO压缩算法保存目录数据，节省硬盘空间，大大提高了搜索速度。 原来100M数据压缩成30M左右，可以自动被放在缓冲中，搜索就不会受到硬盘速度的限制。 (2)优化搜索的关键代码，大大提高了搜索速度。服务器用PIII-450，搜索100个站点数据只用了4秒。
4.2 (FEB-16-2002) (1)把用perl语言写的搜集数据部分用C语言重写，使其 能够运行在新的Linux版本之上。包括Redhat7.x, Mandrake 8.x (2)在搜索时自动排除太久没有更新的站点； (3)Multi user language supported:English and Chinese (4)修正了许多bug (5)作了一些清除代码的工作，使其更加的简洁； (6)搜索列表恢复域名支持, 当然也可以用ip
############################################################################# # 运行平台 ############################################################################# 4.0 Redhat Linux 6.2, PIII-800 4.2 Redhat Linux 7.2,Mandrake Linux 8.1, Celeron 900, PIII-900 经过了对Linux ws-ftpd, Windows NT Server的测试
steff 2002.3.10
|
