中国DOS联盟论坛

中国DOS联盟

-- 联合DOS 推动DOS 发展DOS --
联盟域名:www.cn-dos.net 论坛域名:www.cn-dos.net/forum
游客 | 登录 | 注册 | 会员 | 搜索 | 中国DOS联盟
中国DOS联盟论坛
现在时间是 2026-08-04 13:09
48,038 主题排行 / 350,123 发帖 / 今日 0 篇 / 48,251 会员排行
DOS批处理 & 脚本技术(批处理室) » [讨论]监控多个网站连载小说更新的问题
可打印版本  957 / 13
第1楼 honghunter 发表于 2007-04-29 01:46
中级用户 发帖 135 积分 321
[讨论]监控多个网站连载小说更新的问题
俺的初步想法:


1,用个txt保存关注的小说的主页链接。
例如:http://club.book.sina.com.cn/yuanchuang/writing.php?wid=21359

2,过滤出有效的章节列表。
就是那些类似下面的链接。
http://club.book.sina.com.cn/yuanchuang/chapter.php?id=339061

然后和保存的列表比较,如果发现新链接就下载。


我现在遇到的问题是,发现我这样的做法对于网站本身的选择非常重要。
因为我现在就发现,sina的虽然容易抓取,但是更新慢,小说似乎也不多。

于是考虑,对于同一个小说,同时监控几个网站的更新情况。
但是又遇到问题,就是不同网站上面的同一个小说的章节划分,
可能是不一样的。

请教大家,这个有什么可行的处理方法?
第2楼 zhoushijay 发表于 2007-04-29 02:17
高级用户 发帖 375 积分 845
这个办法好,只是我不知道如果小说有更新是目录地址会变吗?和下面的章节地址没关系吧,还是怎么的?
第3楼 honghunter 发表于 2007-04-29 02:22
中级用户 发帖 135 积分 321
从我观察的几个小说站点看,小说的主页是不变的,其中上面的“21359”。估计是数据库中的标识符字段。

多数站点的小说章节一旦发布,也会有个不变的ID号,类似上面的“339061”。
第4楼 zhoushijay 发表于 2007-04-29 02:26
高级用户 发帖 375 积分 845
既然是不变的那怎么从地址知道他有没有更新呢?
第5楼 honghunter 发表于 2007-04-29 02:29
中级用户 发帖 135 积分 321
我的办法“过滤出有效的章节列表”,比如昨天过滤出来是47个,今天发现超过47个了,那么就是有更新了。
第6楼 zhoushijay 发表于 2007-04-29 02:32
高级用户 发帖 375 积分 845
这个难度有点大,得好好想想
第7楼 honghunter 发表于 2007-04-29 19:17
中级用户 发帖 135 积分 321
继续思考ING
第8楼 honghunter 发表于 2007-04-29 19:37
中级用户 发帖 135 积分 321
还有一个问题,就是因为同时监控多个小说,又要在多个站点上进行监控。所以,需要存储的信息也很多,我现在是每个站点的每个小说一个文件夹(里面几个文件)记录情况,感觉实在太繁琐了。
第9楼 honghunter 发表于 2007-04-29 21:51
中级用户 发帖 135 积分 321
请大家给点意见、建议吧。
第10楼 honghunter 发表于 2007-05-01 06:31
中级用户 发帖 135 积分 321
怎样才能精简用于存储状态的文件,是我现在考虑的主要问题。

现在对于每一个小说,在每个站点,要记录好几个文件。
小说主页1个;
小说的章节列表一个;
每个装节一个。
第11楼 zerocq 发表于 2007-05-01 18:02
中级用户 发帖 196 积分 458
一篇小说最后1章的网页文件名总是比前边高,每个网站都是这样的吧

把小说最后一篇的文件名记录在记事本文件中

curl下载页面取得最高的名件名和记录比较..更新记录...下载.....

思路^o^
第12楼 honghunter 发表于 2007-05-02 23:21
中级用户 发帖 135 积分 321
谢谢,我考虑一下。
第13楼 honghunter 发表于 2007-05-03 12:47
中级用户 发帖 135 积分 321
顶一下,期待各位给出提示。
第14楼 honghunter 发表于 2007-05-09 07:36
中级用户 发帖 135 积分 321
有没有使用批处理快速存取大量变量的方法哪?
[ 联系联盟系统管理团队 - 中国DOS联盟 - 标准版 ]
Sponsored by ifanr Inc | © 2001–2023