标题: 【讨论】把整个网站下载到你的硬盘 [打印本页]
作者: plp626 时间: 2008-5-12 00:00 标题: 【讨论】把整个网站下载到你的硬盘
我知道有特定的软件能干这个事，但为了学习wget我还是想用P来做
比如 将cn-dos网站下到你硬盘上
wget -m [-k] http://www.cn-dos.net/
或者将批处理室的帖子全部下的硬盘：wget -q -0 ????? 谁来补充下？
http://www.cn-dos.net/forum/viewthread.php?tid=39483我对wget 没多研究，只是这个是以游客的身份下载的，自然对某些需要会员，积分限制的帖子就不能下载了
怎么以指定会员的身份下载？
作者: ssetore 时间: 2008-5-12 20:10
是吗？ 我试了 这么不能下载啊
作者: knoppix7 时间: 2008-5-12 23:07
饿...
如果论坛的登陆方式是get的话好办。构造一个URL用wget提交然后保存cookies.
POST的话没怎么研究过.
习惯用curl..
作者: plp626 时间: 2008-5-13 06:59
curl，嗯，确实。。。
给个范例可否？
作者: HAT 时间: 2008-5-13 11:11
找找这两个帖子：
cmd与Curl双剑合璧：自动合并多页主题
Curl和任务计划打造自动BT下载BOT
作者: plp626 时间: 2008-5-13 11:24
| Quote: | |
|
研究过，那个是任意下载（游客），没有提供会员身份下载的例子，也可能是我看不出，还请指点迷津。。。
作者: knoppix7 时间: 2008-5-13 15:53
具体wget怎么实现登录我就不清楚了.
CURL的粗略弄下
Curl -c cookie.txt -d "formhash=b9c1d89b&referer=&loginmode=&styleid=&cookietime=31536000&username=用户名&password=密码&questionid=0&answer=&loginsubmit=%E4%BC%9A%E5%91%98%E7%99%BB%E5%BD%95" "http://www.cn-dos.net/forum/logging.php?action=login"
这样保存下来的cookie就可以在Wget里用了.
作者: plp626 时间: 2008-5-13 16:17
| Quote: | |
|
好！
作者: knoppix7 时间: 2008-5-13 17:47
下载指定版面的话没什么办法.
递归算法总是能弄到其他地方去...
我习惯:
从
http://www.cn-dos.net/forum/forumdisplay.php?fid=23&page=1
下到
http://www.cn-dos.net/forum/forumdisplay.php?fid=23&page=322
然后对下载到的结果进行分析.判断.然后把帖子的URL写入一个txt文件
find "viewthread.php" XXXXXX.XXX
作者: hansom 时间: 2008-5-28 17:13
我用wget时有的目录可以下载,有的目录好像不能下载.而且下载下来的东西全部在当前目录下,没有分文件夹,一估脑的.html文件.图片文件都在一齐.