标题: 想写一个在xml文件中提取文件名和点击率的批处理 [打印本页]
作者: lisyofun 时间: 2009-3-14 12:52 标题: 想写一个在xml文件中提取文件名和点击率的批处理
因为电影服务器的空间不够了，所以想删一些平时没人看点击率低的电影，经过查找发现有关电影的信息都放在每个电影文件夹的info.xml文件里，我写了个不是很完善的批处理，不太很精准，但能提取大部分的电影文件名和点击率，不过有一些以我现在的能力实在提取不出来，但又不太会使用sed,fr这些外部命令，所以想请大家帮我一下。我还有个不情之请，如果可以的话尽量不要使用外部命令，即便使用的话也请教我下每句的用法，呵呵，真是不好意思。本来一个贴就能发完的，后面还是高估我的能力了。
这个是我写的批处理：
@echo off
for /f %%i in ('dir /b /s /a "*.xml"') do (
for /f "tokens=3 delims=[]" %%a in (%%i) do (
for /f "tokens=29 delims=click" %%b in (%%i) do (
for /f "tokens=2 delims=><" %%c in ("%%b") do (
echo %%c|findstr [0-9]>nul2>nul&&echo %%a的点击率为%%c次||for /f "tokens=31 delims=click" %%d in (%%i) do (
for /f "tokens=2 delims=><" %%e in ("%%d") do (
echo %%a的点击率为%%e次|findstr [0-9]||echo %%~fa>>提取点击率出错的电影.txt
)
)
)
)
)
)
pause
这个是一部分xml文件的打包。
[url]http://upload.cn-dos.net/img/1366.rar[/url]
作者: yishanju 时间: 2009-3-14 15:06
把XML 文件全用一行写完的家伙真是个混蛋
作者: yishanju 时间: 2009-3-14 15:54
其实你还应该说明一下 文件目录结构是怎么样的，文件名规律之类的
一部电影一个目录，还是所有文件都在一个目录下面
作者: yishanju 时间: 2009-3-14 20:22
其实系统里的命令真的足够强大可靠处理我的事情，并且好用顺手，我也不会到处找工具找教程了
我尝试过用for 确实有部份XML不能得点击率，说明这些文件有些不一样，如果你有兴趣去查找出几十个文件几百个文件不一样的地方，也许能改进代码，只不过也许可能改进代码之后可能发现有几十文件处理不了
本来用SED处理点击率应该最好的，用SED应该可以不用产生临时文件，我学了很长时间都很难理解这个东西。
再尝试用XMLSTAR，百度只有几篇中文资料，为了用这个工具，我去学了XML,学XPATH，代码写出来运行，930个文件得到了点击率，实在难理理解其它文件为什么报错，让人烦恼不已。
最后回归使用FR来处理这个事情，看起来1023个文件都能取到点击率了：
@echo off
setlocal ENABLEDELAYEDEXPANSION
for /f "delims=" %%a in ('dir /b /s /a 1366\*.xml') do (
echo %%a
type "%%a">%%~dpa\%%~na.txt
fr -rnnlic:".*name=\"click\">([0-9]*)\</item\>.*" -t:"\1" %%~dpa\%%~na.txt
set /p click=<%%~dpa\%%~na.txt
echo !click!
)
pause
要说教你FR的用法，真的很难，FR我也不是在一天、在一个帖子里学会的setlocal ENABLEDELAYEDEXPANSION
for /f "delims=" %%a in ('dir /b /s /a 1366\*.xml') do (
echo %%a
type "%%a">%%~dpa\%%~na.txt
fr -rnnlic:".*name=\"click\">([0-9]*)\</item\>.*" -t:"\1" %%~dpa\%%~na.txt
set /p click=<%%~dpa\%%~na.txt
echo !click!
)
pause
会正则表达式的话，看一眼FR的帮助说明就会了。
fr 帮助说明:http://baiy.cn/utils/fr/index.htm
[ Last edited by yishanju on 2009-3-14 at 20:47 ]
作者: yishanju 时间: 2009-3-15 02:32
改进了代码，不产生临时文件
速度也快了
从此以后又多了一个不用SED的理由
但是发现取犬夜叉.xml 的点击率出错：
过程试图写入的管道不存在。
有可能是文件太长原因，楼上的代码没发现这个问题
@echo off
setlocal ENABLEDELAYEDEXPANSION
for /f "delims=" %%a in ('dir /b /s /a 1366\*.xml') do (
for /f "delims=" %%i in ('type "%%a"^|fr -rnnlic:".*name=\"click\">([0-9]*)\</item\>.*" -t:"\1"') do (
set click=%%i
)
echo 点击率!click! 文件名%%a
)
pause
[ Last edited by yishanju on 2009-3-15 at 02:41 ]setlocal ENABLEDELAYEDEXPANSION
for /f "delims=" %%a in ('dir /b /s /a 1366\*.xml') do (
for /f "delims=" %%i in ('type "%%a"^|fr -rnnlic:".*name=\"click\">([0-9]*)\</item\>.*" -t:"\1"') do (
set click=%%i
)
echo 点击率!click! 文件名%%a
)
pause
作者: netbenton 时间: 2009-3-15 05:14
应该是一行超过8192个字符就出问题吧
作者: yishanju 时间: 2009-3-15 05:58
出错的原因之一可能是文档之中有这样的一个特异字符： “”
在一个正常的XML里 插入“”
执行TYPE 就只显示到“ ”的地方，后面的内容不显示
[ Last edited by yishanju on 2009-3-15 at 06:01 ]
作者: yishanju 时间: 2009-3-15 06:04
执行type x.xml>x.txt
X.TXT 的内容源文件一样完整
所以四楼的代码没有发现出错
作者: yishanju 时间: 2009-3-15 06:10
把所有的特殊字符替换掉以后
下面的代码就可以准确的得到犬夜叉.xm点击率了
用WPS 看了一下犬夜叉.xml字符数有两万
大小39K
@echo off
setlocal ENABLEDELAYEDEXPANSION
for /f "tokens=1* delims=" %%i in ('type 犬夜叉.xml^|fr -rnnlic:".*name=\"click\">([0-9]*)\</item\>.*" -t:"\1"') do (
set click=%%i
echo 点击率!click!
)
pause
[ Last edited by yishanju on 2009-3-15 at 06:15 ]
作者: everest79 时间: 2009-3-15 06:48
建议使用vbs
目录使用fso枚举
xml文件可以使用xmldom来处理，速度快而且准确
有关xmldom可参考的资料http://www.w3school.com.cn/xpath/xpath_examples.asp
作者: yishanju 时间: 2009-3-15 07:44
感谢EST指路｜
用PYTHON也不错，好顺便学PYTHON
作者: everest79 时间: 2009-3-15 09:37
Dim fso,wsp,doc,xxx
Set fso=CreateObject("Scripting.FileSystemObject")
Set wsp=CreateObject("Shell.Application")
Set doc=CreateObject("Microsoft.XMLDOM")
doc.async="false"
filename="info.xml" '要提取的xml文件名,小写
SFolder fso.GetFolder(wsp.BrowseForFolder(0,"选择要提取的目录",0).self.path)
Sub SFolder(xFolder)
If xFolder.Files.Count > 0 Then
SFile xFolder
End If
If xFolder.SubFolders.Count > 0 Then
For Each yFolder In xFolder.SubFolders
SFolder yFolder
Next
End If
End Sub
Sub SFile(xFile)
For Each fs In xFile.Files
If LCase(fs.Name) = filename Then
Parse fs.path
End If
Next
End Sub
Sub Parse(path)
doc.load path
xxx=xxx &_
doc.documentElement.selectSingleNode("//item[@name='click']").text & vbTab &_
doc.documentElement.selectSingleNode("//item[@name='name']").text & vbTab &_
path & vbCrLf
'这里可以添加判断当click小于多少直接删除
'If doc.documentElement.selectSingleNode("//item[@name='click']").text <50 Then delete
End Sub
Wscript.Echo xxx
[ Last edited by everest79 on 2009-3-15 at 09:39 ]Set fso=CreateObject("Scripting.FileSystemObject")
Set wsp=CreateObject("Shell.Application")
Set doc=CreateObject("Microsoft.XMLDOM")
doc.async="false"
filename="info.xml" '要提取的xml文件名,小写
SFolder fso.GetFolder(wsp.BrowseForFolder(0,"选择要提取的目录",0).self.path)
Sub SFolder(xFolder)
If xFolder.Files.Count > 0 Then
SFile xFolder
End If
If xFolder.SubFolders.Count > 0 Then
For Each yFolder In xFolder.SubFolders
SFolder yFolder
Next
End If
End Sub
Sub SFile(xFile)
For Each fs In xFile.Files
If LCase(fs.Name) = filename Then
Parse fs.path
End If
Next
End Sub
Sub Parse(path)
doc.load path
xxx=xxx &_
doc.documentElement.selectSingleNode("//item[@name='click']").text & vbTab &_
doc.documentElement.selectSingleNode("//item[@name='name']").text & vbTab &_
path & vbCrLf
'这里可以添加判断当click小于多少直接删除
'If doc.documentElement.selectSingleNode("//item[@name='click']").text <50 Then delete
End Sub
Wscript.Echo xxx
作者: yishanju 时间: 2009-3-16 14:04
@echo off
setlocal ENABLEDELAYEDEXPANSION
for /f "delims=" %%a in ('dir /b /s /a 1366\*.xml') do (
for /f "delims=" %%i in ('fr -rnnlic:".*name=\"click\">([0-9]*)\</item\>.*" -t:"\1" "%%a" -stdout') do (
set "click=%%i"
)
echo !click! %%a
)
pause
又改了代码，不产生临时文件，不会出像五楼代码的问题setlocal ENABLEDELAYEDEXPANSION
for /f "delims=" %%a in ('dir /b /s /a 1366\*.xml') do (
for /f "delims=" %%i in ('fr -rnnlic:".*name=\"click\">([0-9]*)\</item\>.*" -t:"\1" "%%a" -stdout') do (
set "click=%%i"
)
echo !click! %%a
)
pause
作者: lisyofun 时间: 2009-3-17 03:41
呵呵，谢谢，vbs会的不多。
我现在也在学习fr,不过有两个问题不太明白
fr -rnnlic:".*name=\"click\">([0-9]*)\</item\>.*" -t:"\1" "%%a" -stdout
.和*是什么意思？每个符号前都要用\吧，但"click\">的"后面的>为什么不用？
还有-t也不太明白m解释上说是将匹配的内容替换为指定字符串，那后面的1是怎么回事？
作者: yishanju 时间: 2009-3-17 04:29
正则表达式我不敢觉得自己很懂，我在这里说得很吃力，有机会你自己学一学正则
.表示任意字符
.* 就表示1-N个任意字符
.*name 表示在name 这个字符串前有N个任意字符
加字符前加\都表示特殊字符本身，就像批处理里的| &的字符前要加^一样
刚试过<>字符不用加\
[ Last edited by yishanju on 2009-3-17 at 05:14 ]
作者: yishanju 时间: 2009-3-17 04:37
正则表达式全部符号解释
字符 描述
\ 将下一个字符标记为一个特殊字符、或一个原义字符、或一个 向后引用、或一个八进制转义符。例如，'n' 匹配字符 "n"。'\n' 匹配一个换行符。序列 '\\' 匹配 "\" 而 "\(" 则匹配 "("。
^ 匹配输入字符串的开始位置。如果设置了 RegExp 对象的 Multiline 属性，^ 也匹配 '\n' 或 '\r' 之后的位置。
$ 匹配输入字符串的结束位置。如果设置了RegExp 对象的 Multiline 属性，$ 也匹配 '\n' 或 '\r' 之前的位置。
* 匹配前面的子表达式零次或多次。例如，zo* 能匹配 "z" 以及 "zoo"。* 等价于{0,}。
+ 匹配前面的子表达式一次或多次。例如，'zo+' 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等价于 {1,}。
? 匹配前面的子表达式零次或一次。例如，"do(es)?" 可以匹配 "do" 或 "does" 中的"do" 。? 等价于 {0,1}。
{n} n 是一个非负整数。匹配确定的 n 次。例如，'o{2}' 不能匹配 "Bob" 中的 'o'，但是能匹配 "food" 中的两个 o。
{n,} n 是一个非负整数。至少匹配n 次。例如，'o{2,}' 不能匹配 "Bob" 中的 'o'，但能匹配 "foooood" 中的所有 o。'o{1,}' 等价于 'o+'。'o{0,}' 则等价于 'o*'。
{n,m} m 和 n 均为非负整数，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，"o{1,3}" 将匹配 "fooooood" 中的前三个 o。'o{0,1}' 等价于 'o?'。请注意在逗号和两个数之间不能有空格。
? 当该字符紧跟在任何一个其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串 "oooo"，'o+?' 将匹配单个 "o"，而 'o+' 将匹配所有 'o'。
. 匹配除 "\n" 之外的任何单个字符。要匹配包括 '\n' 在内的任何字符，请使用象 '[.\n]' 的模式。
(pattern) 匹配 pattern 并获取这一匹配。所获取的匹配可以从产生的 Matches 集合得到，在VBScript 中使用 SubMatches 集合，在JScript 中则使用 $0…$9 属性。要匹配圆括号字符，请使用 '\(' 或 '\)'。
(?:pattern) 匹配 pattern 但不获取匹配结果，也就是说这是一个非获取匹配，不进行存储供以后使用。这在使用 "或" 字符 (|) 来组合一个模式的各个部分是很有用。例如， 'industr(?:y|ies) 就是一个比 'industry|industries' 更简略的表达式。
(?=pattern) 正向预查，在任何匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如，'Windows (?=95|98|NT|2000)' 能匹配 "Windows 2000" 中的 "Windows" ，但不能匹配 "Windows 3.1" 中的 "Windows"。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。
(?!pattern) 负向预查，在任何不匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如'Windows (?!95|98|NT|2000)' 能匹配 "Windows 3.1" 中的 "Windows"，但不能匹配 "Windows 2000" 中的 "Windows"。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始
x|y 匹配 x 或 y。例如，'z|food' 能匹配 "z" 或 "food"。'(z|f)ood' 则匹配 "zood" 或 "food"。
[xyz] 字符集合。匹配所包含的任意一个字符。例如， '[abc]' 可以匹配 "plain" 中的 'a'。
[^xyz] 负值字符集合。匹配未包含的任意字符。例如， '[^abc]' 可以匹配 "plain" 中的'p'。
[a-z] 字符范围。匹配指定范围内的任意字符。例如，'[a-z]' 可以匹配 'a' 到 'z' 范围内的任意小写字母字符。
[^a-z] 负值字符范围。匹配任何不在指定范围内的任意字符。例如，'[^a-z]' 可以匹配任何不在 'a' 到 'z' 范围内的任意字符。
\b 匹配一个单词边界，也就是指单词和空格间的位置。例如， 'er\b' 可以匹配"never" 中的 'er'，但不能匹配 "verb" 中的 'er'。
\B 匹配非单词边界。'er\B' 能匹配 "verb" 中的 'er'，但不能匹配 "never" 中的 'er'。
\cx 匹配由 x 指明的控制字符。例如， \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则，将 c 视为一个原义的 'c' 字符。
\d 匹配一个数字字符。等价于 [0-9]。
\D 匹配一个非数字字符。等价于 [^0-9]。
\f 匹配一个换页符。等价于 \x0c 和 \cL。
\n 匹配一个换行符。等价于 \x0a 和 \cJ。
\r 匹配一个回车符。等价于 \x0d 和 \cM。
\s 匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
\S 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。
\t 匹配一个制表符。等价于 \x09 和 \cI。
\v 匹配一个垂直制表符。等价于 \x0b 和 \cK。
\w 匹配包括下划线的任何单词字符。等价于'[A-Za-z0-9_]'。
\W 匹配任何非单词字符。等价于 '[^A-Za-z0-9_]'。
\xn 匹配 n，其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如，'\x41' 匹配 "A"。'\x041' 则等价于 '\x04' & "1"。正则表达式中可以使用 ASCII 编码。.
\num 匹配 num，其中 num 是一个正整数。对所获取的匹配的引用。例如，'(.)\1' 匹配两个连续的相同字符。
\n 标识一个八进制转义值或一个向后引用。如果 \n 之前至少 n 个获取的子表达式，则 n 为向后引用。否则，如果 n 为八进制数字 (0-7)，则 n 为一个八进制转义值。
\nm 标识一个八进制转义值或一个向后引用。如果 \nm 之前至少有 nm 个获得子表达式，则 nm 为向后引用。如果 \nm 之前至少有 n 个获取，则 n 为一个后跟文字 m 的向后引用。如果前面的条件都不满足，若 n 和 m 均为八进制数字 (0-7)，则 \nm 将匹配八进制转义值 nm。
\nml 如果 n 为八进制数字 (0-3)，且 m 和 l 均为八进制数字 (0-7)，则匹配八进制转义值 nml。
\un 匹配 n，其中 n 是一个用四个十六进制数字表示的 Unicode 字符。例如， \u00A9 匹配版权符号 (?)。
作者: lisyofun 时间: 2009-3-17 06:47
yishanju真是好人，我要多多向你学习:)