中国DOS联盟论坛

中国DOS联盟

-- 联合DOS 推动DOS 发展DOS --
联盟域名:www.cn-dos.net 论坛域名:www.cn-dos.net/forum
游客 | 登录 | 注册 | 会员 | 搜索 | 中国DOS联盟
中国DOS联盟论坛
现在时间是 2026-08-08 20:13
47,811 主题排行 / 349,895 发帖 / 今日 0 篇 / 48,253 会员排行
DOS批处理 & 脚本技术(批处理室) » 【讨论】把整个网站下载到你的硬盘
可打印版本  911 / 9
第1楼 plp626 发表于 2008-05-12 00:00
银牌会员 发帖 1,020 积分 2,278
【讨论】把整个网站下载到你的硬盘
我知道有特定的软件能干这个事,但为了学习wget我还是想用P来做

比如 将cn-dos网站下到你硬盘上

或者将批处理室的帖子全部下的硬盘:
http://www.cn-dos.net/forum/viewthread.php?tid=39483


我对wget 没多研究,只是这个是以游客的身份下载的,自然对某些需要会员,积分限制的帖子就不能下载了

怎么以指定会员的身份下载?
第2楼 ssetore 发表于 2008-05-12 20:10
新手上路 发帖 6 积分 16
是吗? 我试了 这么不能下载啊
第3楼 knoppix7 发表于 2008-05-12 23:07
银牌会员 发帖 634 积分 1,287 来自 cmd.exe
饿...
如果论坛的登陆方式是get的话好办。构造一个URL用wget提交然后保存cookies.

POST的话没怎么研究过.

习惯用curl..
第4楼 plp626 发表于 2008-05-13 06:59
银牌会员 发帖 1,020 积分 2,278
curl,嗯,确实。。。
给个范例可否?
第5楼 HAT 发表于 2008-05-13 11:11
版主 发帖 5,017 积分 9,023
找找这两个帖子:

cmd与Curl双剑合璧:自动合并多页主题
Curl和任务计划打造自动BT下载BOT
第6楼 plp626 发表于 2008-05-13 11:24
银牌会员 发帖 1,020 积分 2,278
Originally posted by HAT at 2008-5-13 11:11 AM:
找找这两个帖子:

cmd与Curl双剑合璧:自动合并多页主题
Curl和任务计划打造自动BT下载BOT

研究过,那个是任意下载(游客),没有提供会员身份下载的例子,也可能是我看不出,还请指点迷津。。。
第7楼 knoppix7 发表于 2008-05-13 15:53
银牌会员 发帖 634 积分 1,287 来自 cmd.exe
具体wget怎么实现登录我就不清楚了.
CURL的粗略弄下
Curl -c cookie.txt -d "formhash=b9c1d89b&referer=&loginmode=&styleid=&cookietime=31536000&username=用户名&password=密码&questionid=0&answer=&loginsubmit=%E4%BC%9A%E5%91%98%E7%99%BB%E5%BD%95" "http://www.cn-dos.net/forum/logging.php?action=login"

这样保存下来的cookie就可以在Wget里用了.
第8楼 plp626 发表于 2008-05-13 16:17
银牌会员 发帖 1,020 积分 2,278
Originally posted by knoppix7 at 2008-5-13 03:53 PM:
具体wget怎么实现登录我就不清楚了.
CURL的粗略弄下
Curl -c cookie.txt -d "formhash=b9c1d89b&referer=&loginmode=&styleid=&cookietime=31536000&username=用 ...

好!
第9楼 knoppix7 发表于 2008-05-13 17:47
银牌会员 发帖 634 积分 1,287 来自 cmd.exe
下载指定版面的话没什么办法.
递归算法总是能弄到其他地方去...
我习惯:

http://www.cn-dos.net/forum/forumdisplay.php?fid=23&page=1
下到
http://www.cn-dos.net/forum/forumdisplay.php?fid=23&page=322

然后对下载到的结果进行分析.判断.然后把帖子的URL写入一个txt文件
find "viewthread.php" XXXXXX.XXX
第10楼 hansom 发表于 2008-05-28 17:13
初级用户 发帖 87 积分 161
我用wget时有的目录可以下载,有的目录好像不能下载.而且下载下来的东西全部在当前目录下,没有分文件夹,一估脑的.html文件.图片文件都在一齐.
[ 联系联盟系统管理团队 - 中国DOS联盟 - 标准版 ]
Sponsored by ifanr Inc | © 2001–2023