中国DOS联盟论坛

中国DOS联盟

-- 联合DOS 推动DOS 发展DOS --

联盟域名:www.cn-dos.net  论坛域名:www.cn-dos.net/forum
DOS,代表着自由开放与发展,我们努力起来,学习FreeDOS和Linux的自由开放与GNU精神,共同创造和发展美好的自由与GNU GPL世界吧!

游客:  注册 | 登录 | 命令行 | 会员 | 搜索 | 上传 | 帮助 »
中国DOS联盟论坛 » DOS批处理 & 脚本技术(批处理室) » 【讨论】把整个网站下载到你的硬盘
作者:
标题: 【讨论】把整个网站下载到你的硬盘 上一主题 | 下一主题
plp626
银牌会员

钻石会员


积分 2278
发帖 1020
注册 2007-11-19
状态 离线
『楼 主』:  【讨论】把整个网站下载到你的硬盘

我知道有特定的软件能干这个事,但为了学习wget我还是想用P来做

比如 将cn-dos网站下到你硬盘上
wget -m [-k] http://www.cn-dos.net/
或者将批处理室的帖子全部下的硬盘:
wget -q -0 ????? 谁来补充下?
http://www.cn-dos.net/forum/viewthread.php?tid=39483


我对wget 没多研究,只是这个是以游客的身份下载的,自然对某些需要会员,积分限制的帖子就不能下载了

怎么以指定会员的身份下载?



山外有山,人外有人;低调做人,努力做事。

进入网盘(各种工具)~~ 空间~~cmd学习
2008-5-12 00:00
查看资料  发短消息 网志   编辑帖子  回复  引用回复
ssetore
新手上路





积分 16
发帖 6
注册 2007-1-20
状态 离线
『第 2 楼』:  

是吗?  我试了   这么不能下载啊

2008-5-12 20:10
查看资料  发送邮件  发短消息 网志   编辑帖子  回复  引用回复
knoppix7
银牌会员





积分 1287
发帖 634
注册 2007-5-2
来自 cmd.exe
状态 离线
『第 3 楼』:  

饿...
如果论坛的登陆方式是get的话好办。构造一个URL用wget提交然后保存cookies.

POST的话没怎么研究过.

习惯用curl..

2008-5-12 23:07
查看资料  发短消息 网志   编辑帖子  回复  引用回复
plp626
银牌会员

钻石会员


积分 2278
发帖 1020
注册 2007-11-19
状态 离线
『第 4 楼』:  

curl,嗯,确实。。。
给个范例可否?



山外有山,人外有人;低调做人,努力做事。

进入网盘(各种工具)~~ 空间~~cmd学习
2008-5-13 06:59
查看资料  发短消息 网志   编辑帖子  回复  引用回复
HAT
版主





积分 9023
发帖 5017
注册 2007-5-31
状态 离线
『第 5 楼』:  

找找这两个帖子:

cmd与Curl双剑合璧:自动合并多页主题
Curl和任务计划打造自动BT下载BOT

2008-5-13 11:11
查看资料  发短消息 网志   编辑帖子  回复  引用回复
plp626
银牌会员

钻石会员


积分 2278
发帖 1020
注册 2007-11-19
状态 离线
『第 6 楼』:  



  Quote:
Originally posted by HAT at 2008-5-13 11:11 AM:
找找这两个帖子:

cmd与Curl双剑合璧:自动合并多页主题
Curl和任务计划打造自动BT下载BOT

研究过,那个是任意下载(游客),没有提供会员身份下载的例子,也可能是我看不出,还请指点迷津。。。



山外有山,人外有人;低调做人,努力做事。

进入网盘(各种工具)~~ 空间~~cmd学习
2008-5-13 11:24
查看资料  发短消息 网志   编辑帖子  回复  引用回复
knoppix7
银牌会员





积分 1287
发帖 634
注册 2007-5-2
来自 cmd.exe
状态 离线
『第 7 楼』:  

具体wget怎么实现登录我就不清楚了.
CURL的粗略弄下
Curl -c cookie.txt -d "formhash=b9c1d89b&referer=&loginmode=&styleid=&cookietime=31536000&username=用户名&password=密码&questionid=0&answer=&loginsubmit=%E4%BC%9A%E5%91%98%E7%99%BB%E5%BD%95" "http://www.cn-dos.net/forum/logging.php?action=login"

这样保存下来的cookie就可以在Wget里用了.

   此帖被 +3 点积分     点击查看详情   
评分人:【 plp626 分数: +3  时间:2008-5-13 16:17


2008-5-13 15:53
查看资料  发短消息 网志   编辑帖子  回复  引用回复
plp626
银牌会员

钻石会员


积分 2278
发帖 1020
注册 2007-11-19
状态 离线
『第 8 楼』:  



  Quote:
Originally posted by knoppix7 at 2008-5-13 03:53 PM:
具体wget怎么实现登录我就不清楚了.
CURL的粗略弄下
Curl -c cookie.txt -d "formhash=b9c1d89b&referer=&loginmode=&styleid=&cookietime=31536000&username=用 ...

好!



山外有山,人外有人;低调做人,努力做事。

进入网盘(各种工具)~~ 空间~~cmd学习
2008-5-13 16:17
查看资料  发短消息 网志   编辑帖子  回复  引用回复
knoppix7
银牌会员





积分 1287
发帖 634
注册 2007-5-2
来自 cmd.exe
状态 离线
『第 9 楼』:  

下载指定版面的话没什么办法.
递归算法总是能弄到其他地方去...
我习惯:

http://www.cn-dos.net/forum/forumdisplay.php?fid=23&page=1
下到
http://www.cn-dos.net/forum/forumdisplay.php?fid=23&page=322

然后对下载到的结果进行分析.判断.然后把帖子的URL写入一个txt文件
find "viewthread.php" XXXXXX.XXX

2008-5-13 17:47
查看资料  发短消息 网志   编辑帖子  回复  引用回复
hansom
初级用户




积分 161
发帖 87
注册 2008-5-25
状态 离线
『第 10 楼』:  

我用wget时有的目录可以下载,有的目录好像不能下载.而且下载下来的东西全部在当前目录下,没有分文件夹,一估脑的.html文件.图片文件都在一齐.

2008-5-28 17:13
查看资料  发短消息 网志   编辑帖子  回复  引用回复

请注意:您目前尚未注册或登录,请您注册登录以使用论坛的各项功能,例如发表和回复帖子等。


可打印版本 | 推荐给朋友 | 订阅主题 | 收藏主题



论坛跳转: