使用wget特定参数下载整个网站 - 中国DOS联盟论坛

原先我下载网页中的图片用的是 curl+for
先解析网页源代码中的图片地址再使用 curl 或者 wget 下载
没想到wget还有特定的参数来做这些

下载整个网站

wget --mirror http://www.gnu.org/
或短写参数：
wget -m http://www.gnu.org

-m / --mirror：镜像整个网站，它与“-r -l inf -N”这三个参数一起用效果相同
-r / --recursive：以递归方式抓取
-l depth / --level=depth：递归的深度，缺省最大值为5，0或inf表示无限多
-N / --timestamping：时间戳，不知道有什么用
-k / --convert-links：在全部下载完成之后，修改已下载页面中的链接，如果链接所指向的文件也下在本地了，就指向这个文件，否则，就指向http上原来的文件

下载特定类型的文件

下载图片：
wget -m -np -nd --accept=jpg,jpeg,png http://www.xxx.com/top/page.html

-np / --no-parent：不下载指向上层的链接
--reject=avi,rmvb：不下载'.avi'，'.rmvb'类型的文件
--accept=jpg,jpeg：只下载'.jpg'，'.jpeg'类型的文件

第1楼　ngd	发表于 2007-12-29 12:44
中级用户　发帖 108　积分 312
使用wget特定参数下载整个网站原先我下载网页中的图片用的是 curl+for 先解析网页源代码中的图片地址再使用 curl 或者 wget 下载没想到wget还有特定的参数来做这些下载整个网站 wget --mirror http://www.gnu.org/ 或短写参数： wget -m http://www.gnu.org -m / --mirror：镜像整个网站，它与“-r -l inf -N”这三个参数一起用效果相同 -r / --recursive：以递归方式抓取 -l depth / --level=depth：递归的深度，缺省最大值为5，0或inf表示无限多 -N / --timestamping：时间戳，不知道有什么用 -k / --convert-links：在全部下载完成之后，修改已下载页面中的链接，如果链接所指向的文件也下在本地了，就指向这个文件，否则，就指向http上原来的文件下载特定类型的文件下载图片： wget -m -np -nd --accept=jpg,jpeg,png http://www.xxx.com/top/page.html -np / --no-parent：不下载指向上层的链接 --reject=avi,rmvb：不下载'.avi'，'.rmvb'类型的文件 --accept=jpg,jpeg：只下载'.jpg'，'.jpeg'类型的文件

第2楼　luckyboy8879	发表于 2007-12-29 14:05
初级用户　发帖 10　积分 22
不懂咧不明白这是什么? 这也是DOS命令么?

第3楼　vkill	发表于 2007-12-31 14:13
金牌会员　发帖 1,744　积分 4,103　来自甘肃.临泽
不过对动态网站不怎么好使