中国DOS联盟

-- 联合DOS 推动DOS 发展DOS --

联盟域名:www.cn-dos.net 论坛域名:www.cn-dos.net/forum
DOS,代表着自由开放与发展,我们努力起来,学习FreeDOS和Linux的自由开放与GNU精神,共同创造和发展美好的自由与GNU GPL世界吧!

中国DOS联盟论坛
现在时间是 2026-08-04 14:14
中国DOS联盟论坛 » DOS批处理 & 脚本技术(批处理室) » [讨论]监控多个网站连载小说更新的问题 查看 961 回复 13
楼 主 [讨论]监控多个网站连载小说更新的问题 发表于 2007-04-29 01:46 ·  中国 上海 电信
中级用户
★★
积分 321
发帖 135
注册 2007-02-04 04:48
19年会员
UID 78578
性别 男
状态 离线
俺的初步想法:


1,用个txt保存关注的小说的主页链接。
例如:http://club.book.sina.com.cn/yuanchuang/writing.php?wid=21359

2,过滤出有效的章节列表。
就是那些类似下面的链接。
http://club.book.sina.com.cn/yuanchuang/chapter.php?id=339061

然后和保存的列表比较,如果发现新链接就下载。


我现在遇到的问题是,发现我这样的做法对于网站本身的选择非常重要。
因为我现在就发现,sina的虽然容易抓取,但是更新慢,小说似乎也不多。

于是考虑,对于同一个小说,同时监控几个网站的更新情况。
但是又遇到问题,就是不同网站上面的同一个小说的章节划分,
可能是不一样的。

请教大家,这个有什么可行的处理方法?
2 发表于 2007-04-29 02:17 ·  中国 新疆 乌鲁木齐 电信
高级用户
★★★
Autowalk
积分 845
发帖 375
注册 2007-03-03 01:58
19年会员
UID 80606
性别 男
状态 离线
这个办法好,只是我不知道如果小说有更新是目录地址会变吗?和下面的章节地址没关系吧,还是怎么的?
3 发表于 2007-04-29 02:22 ·  中国 上海 电信
中级用户
★★
积分 321
发帖 135
注册 2007-02-04 04:48
19年会员
UID 78578
性别 男
状态 离线
从我观察的几个小说站点看,小说的主页是不变的,其中上面的“21359”。估计是数据库中的标识符字段。

多数站点的小说章节一旦发布,也会有个不变的ID号,类似上面的“339061”。
4 发表于 2007-04-29 02:26 ·  中国 新疆 乌鲁木齐 电信
高级用户
★★★
Autowalk
积分 845
发帖 375
注册 2007-03-03 01:58
19年会员
UID 80606
性别 男
状态 离线
既然是不变的那怎么从地址知道他有没有更新呢?
5 发表于 2007-04-29 02:29 ·  中国 上海 电信
中级用户
★★
积分 321
发帖 135
注册 2007-02-04 04:48
19年会员
UID 78578
性别 男
状态 离线
我的办法“过滤出有效的章节列表”,比如昨天过滤出来是47个,今天发现超过47个了,那么就是有更新了。
6 发表于 2007-04-29 02:32 ·  中国 新疆 乌鲁木齐 电信
高级用户
★★★
Autowalk
积分 845
发帖 375
注册 2007-03-03 01:58
19年会员
UID 80606
性别 男
状态 离线
这个难度有点大,得好好想想
7 发表于 2007-04-29 19:17 ·  俄罗斯
中级用户
★★
积分 321
发帖 135
注册 2007-02-04 04:48
19年会员
UID 78578
性别 男
状态 离线
8 发表于 2007-04-29 19:37 ·  德国 柏林州 柏林 Strato公司
中级用户
★★
积分 321
发帖 135
注册 2007-02-04 04:48
19年会员
UID 78578
性别 男
状态 离线
还有一个问题,就是因为同时监控多个小说,又要在多个站点上进行监控。所以,需要存储的信息也很多,我现在是每个站点的每个小说一个文件夹(里面几个文件)记录情况,感觉实在太繁琐了。
9 发表于 2007-04-29 21:51 ·  中国 上海 电信
中级用户
★★
积分 321
发帖 135
注册 2007-02-04 04:48
19年会员
UID 78578
性别 男
状态 离线
请大家给点意见、建议吧。
10 发表于 2007-05-01 06:31 ·  美国 马萨诸塞州 萨福克县 波士顿 波士顿大学
中级用户
★★
积分 321
发帖 135
注册 2007-02-04 04:48
19年会员
UID 78578
性别 男
状态 离线
怎样才能精简用于存储状态的文件,是我现在考虑的主要问题。

现在对于每一个小说,在每个站点,要记录好几个文件。
小说主页1个;
小说的章节列表一个;
每个装节一个。
11 发表于 2007-05-01 18:02 ·  中国 浙江 温州 电信
中级用户
★★
积分 458
发帖 196
注册 2006-10-05 12:04
19年会员
UID 64614
状态 离线
一篇小说最后1章的网页文件名总是比前边高,每个网站都是这样的吧

把小说最后一篇的文件名记录在记事本文件中

curl下载页面取得最高的名件名和记录比较..更新记录...下载.....

思路^o^
12 发表于 2007-05-02 23:21 ·  匈牙利
中级用户
★★
积分 321
发帖 135
注册 2007-02-04 04:48
19年会员
UID 78578
性别 男
状态 离线
谢谢,我考虑一下。
13 发表于 2007-05-03 12:47 ·  中国 上海 浦东新区 电信
中级用户
★★
积分 321
发帖 135
注册 2007-02-04 04:48
19年会员
UID 78578
性别 男
状态 离线
顶一下,期待各位给出提示。
14 发表于 2007-05-09 07:36 ·  中国 上海 电信
中级用户
★★
积分 321
发帖 135
注册 2007-02-04 04:48
19年会员
UID 78578
性别 男
状态 离线
有没有使用批处理快速存取大量变量的方法哪?
论坛跳转: