百度空间 | 百度首页 
 
查看文章
  
wget下载整个网站
2007-02-05 00:43

wget下载整个网站

可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps , -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载 下来,由于互联网的特性,很有可能你会把整个互联网给下载下来 --,所以要加上 -np这个参数,表示不下载别的站点的链接. -k表示将下载的网页里的链接修改为本地链接.-p获得所以显示网页所需的元素,比如图片什么的.
另外还有其他的一些参数可以使用:

-c表示断点续传

-t 100表示重试100次,-t 0表示无穷次重试

另外可以将要下载的url写到一个文件中,每个url一行,使用这样的命令 wget -i download.txt.

--reject=avi,rmvb 表示不下载avi,rmvb的文件,--accept=jpg,jpeg,表示只下载jpg,jpeg的文件.

可以在用户目录下建立一个.wgetrc的文件(windows里面好像不能直接建立这样的文件,windows会认为没有文件名--),里面写上 http-proxy = 123.456.78.9:80,然后在加上参数 --proxy=on,如果需要密码,再加上下面的参数 --proxy-user=username, --proxy-passwd=password

类别：linux技术 | 添加到搜藏 | 浏览() | 评论 (6)
 
最近读者：
 
网友评论：
1
2007-02-28 18:13 | 回复
哈哈 ，好使！ 但 要有一个page的具体URL，如 wget -r -p -k -np http://www.icbc.com.cn/netbank/corporate_index.jsp 这样就OK了。 但这样是不行的： wget -r -p -k -np http://www.icbc.com.cn/
 
2
2007-04-04 15:19 | 回复
不错啊
 
3
2007-04-04 15:20 | 回复
不错啊
 
4
2008-07-02 12:22 | 回复
(windows里面好像不能直接建立这样的文件,windows会认为没有文件名--) 可以用move命令改名的. move wgetrc .wgetrc
 
5
2008-10-23 22:41 | 回复
好用，谢谢！
 
6
2009-08-26 14:03 | 回复
好，非常好，用来下载整个低俗的网站用得上，哈哈
 
发表评论：
姓　名：
网址或邮箱： (选填)
内　容：
验证码： 请点击后输入四位验证码，字母不区分大小写
      

     

©2009 Baidu