中国DOS联盟

有若干子文件夹，每个文件夹里都有若干文本，求助：
1、如何遍历这些文件夹里的文本，将每个文本里纯粹由半角字符（如：半角空格，半角标点，半角符号，英文，数字等等）组成的行删除；
2、将包含连续超过20个半角字符的行（如：“去年!~)&(^(123 &^ $#@,.?我们的工作/88\765”这样的行）删除；
3、将连续两个全角空格替换回车；
4、删除所有没有字符的空行；
5、清除特定的词组（例如：文本中包括“2007年报告指出”之类的词组）。

以上环境在CMD下

Last edited by pkto on 2009-1-21 at 11:43 ]

替换字符串，强烈推荐 命令行工具: fr find - replace http://baiy.cn/utils/fr/index.htm

　

简介

fr - 在文件中批量查找并替换匹配的字符串
支持一次性指定多个文件通配符和文件列表。
支持管道模式，与其它命令协同工作；支持半管道模式，从文件中获取输入，但将结果写到标准输出。
支持包含子目录。
支持普通匹配、正则匹配、可忽略大小写、可跨行匹配。替换时可以使用正则的子表达式。
支持高级正则表达式（ARE）。
同时支持 posix 标准的扩展正则表达式及 perl 风格的正则匹配。
可以格式化替换内容为全大写或全小写，便于在批处理中对环境变量和命令行参数做大小写一致化处理。
支持 DOS（Windows）、Macintosh 和 unix 风格的换行符，可选择自动识别（默认）或手动指定。
统计功能，列出每个文件中的替换次数、总替换次数等。
支持Win32和纯DOS环境（纯DOS环境中需要 HX DOS Extender 支持）。


　
更新历史

2008-09-09, Ver 2.1.4.0909
UPD: 增强了正则行首锚点 '^' 的适应性。

2008-09-08, Ver 2.1.3.0908
FIX: 纠正了正则表达式零长匹配时会出现无限循环的问题（例如，在内容“aaa.bbb”中将“*”替换为“z”）。
FIX: 纠正了正则行首锚点解析不正确的问题（例如，在内容“ccc”将“^c”替换为“z”）。

2008-08-16 Ver 2.1.2.1126
新增高级正则表达式（ARE）支持

2007-01-20 Ver 2.1.1.120
新增 -exp 选项，开启该选项后，程序的内存使用量将增加一倍，但是在很多情况下，其处理速度将得到极大改善。碰到性能问题的弟兄们可以试试。

该算法使用额外的内存消除了原地替换时带来的内存抖动，所以文件中要替换的值越多，算法带来的性能提升就越明显。在 siwen@CCF 兄提供给我的样本上测试，开启了 -exp 选项以后，fr 完成任务的时间从 1小时 降低到 1.5 秒（文件体积 8.5MB，文件中需要替换的项目为 25 万项）。


　

典型应用

在命令行中单独使用，或作为管道过滤器使用。例如：“unzip -l *.zip | fr /r:"^(.{22}:\d\d\s*|(A| \a| -|.*files$).*\n)" /t”将当前目录下的所有zip文件中的文件干净地列出，同时过滤标题行、统计行以及每行的文件大小、修改时间等内容。
　
在批处理中应用。批处理片断：fr *.lst -fic:NewDir -tu:"%1" 将当前目录下所有 .lst 文件中的 newdir 替换为第一个命令行参数（全大写）。

另一个简单的例子：将“@fr kog-Swd5b.sfv /r:"^(.*) (\x\x)(\x\x)(\x\x)(\x\x)$" /t:"\5\4\3\2 *\1"”保存为批处理文件“sfv2hash.bat”，在下载任何带有 sfv 校验信息的文件后，可以使用 sfv2hash check.sfv 将其转换为标准 hash 信息格式。然后就可以使用 crypto v check.sfv /halgm:crc32 或其它散列验证工具进行文件验证。
　
与其它工具配合使用。


　

简单中文帮助

C:\Documents and Settings\Administrator>
#fr

===============================================================================
find and replace Ver 2.1.1.120 by BaiYang / 2004 - 2007, 免费软件
主页地址 － http://baiy.cn
===============================================================================
在文件和管道中寻找字符串，并将它们替换为其它内容

用法: fr {查找选项:查找内容} {替换选项:替换为}


===============================================================================
查找选项:
-f: - 匹配精确串
-fic: - 匹配精确串（忽略大小写）
-r: - 正则表达式匹配
-ric: - 正则表达式匹配（忽略大小写）
-rnnl: - 跨行正则匹配
-rnnlic: - 跨行正则匹配（忽略大小写）

===============================================================================
替换选项:
-t: - 将匹配的内容替换为指定字符串
-tu: - 先将指定的“替换为”字符串变为大写，然后开始替换
-tl: - 先将指定的“替换为”字符串变为小写，然后开始替换
-h -? - 当前屏幕
注意: 如果您正在使用正则匹配，那么您可以在“替换为”字符串中使用子表达式代换
(\0 ～ \9)

===============================================================================
其它选项:
-s - 包含子目录
-exp - 启用内存扩展算法，将会加倍 fr 的内存使用量，但是很多时候可以极大地
提高执行效率。如果你碰到了性能问题，可以尝试开启该选项。
-stdin - 从标准输入设备获得要查找的内容，并将结果从到标准输出设备（如果未指
定任何文件模板的话，则自动启用该选项）
-stdout - 像平时一样， 从文件中获得输入， 但将结果送到标准输出（而不是写回文
件）
-frc - 显示每个文件内发生的替换次数
-trc - 显示所有文件总共发生的替换次数

===============================================================================
POSIX 和 Perl 风格的正则表达式:

- "find - replace" 完整支持 POSIX.2 扩展标准及 Perl 风格的正则表达式。
以下是支持的字符类及其对应关系:
POSIX perl 描述
--------------------------------------------------------------------
字母和数字
\a 字母
\l 小写字母
\u 大写字母
空格和制表符
\s 空白字符
控制字符
\d 十进制数字
\x 十六进制数字
可打印字符（不包括空白符）
\p 可打印字符（包括空白符）
标点符号

- 以下是一些 perl 的特殊字符类:
perl POSIX等效 描述
--------------------------------------------------------------------
\o 八进制数字
\O 非八进制数字
\w _] 单词组成
\W _] 非单词组成
\A ] 非字母
\L ] 非小写字母
\U ] 非大写字母
\S ] 非空白符
\D ] 非十进制数字
\X ] 非十六进制数字
\P ] 非可打印字符
\< _] 单词开始
\> _] 单词结束

- 注意: posix 字符类是必须工作在集合中的（“”内）。相反，perl 风格
的字符类是工作在集合运算之外的。

- 此外，为了便于在命令行输入一些特殊字符，特别定义了一下别名:
perl风格 POSIX风格 描述
-----------------------------------------------------------------------
\" 双引号
\' 单引号
\t 制表符
\n 换行符 (0x0A)
\r 回车符 (0x0D)
\b 退格符

===============================================================================
开关的前缀和后缀:
* 所有命令行开关（选项）都是大小写无关的（如: "-fic:" 和 "-FIC:"）
* 开关的前缀可以是 "-" 或 "/"（如: "/s" 和 "-s"）
* 开关的后缀可以是 ":" 或 "="（如: "/f:", "/f=", "-f:" 和 "-f=" 等效）

===============================================================================
应用示例:
fr *.txt *.htm -f:teh -t:the
fr *.txt -fic:"My Dir" -tu:"%ROOTDIR%"
type server.log | fr /r:"Connected.*218.79" /t:"**Attack** \0"
type server.log | fr /r:"^(Smith|James).*\n" /t
unzip -l *.zip | fr /r:"^(.{22}:\d\d\s*|(A| \a| -|.*files$).*\n)" /

谢谢yihanju兄的回贴，但答案不是正解。如果是正则替换的话，有很多软件都可以实现的，象偶最擅长的textpro，就经常用它来处理文档，只要设置好表达式即可，在其中半角只需/~f就可以全部表达，而不象兄台说的数字、符号、英文单独用公式表达，这样效率并不高。而且兄台民指的方式，好象对汉字或者汉字的全角空格是不能操作的，所以偶只想用bat处理，不想再随身携带其它的软件。

Last edited by pkto on 2009-1-21 at 11:42 ]

fr是一个命令行字符串查找替换工具，我自己用着非常顺手，少写N行批处理

bat 处理文本的功能比较弱，繁杂的处理用相应工具处理比较好

Originally posted by yishanju at 2009-1-21 12:50 PM:
fr是一个命令行字符串查找替换工具，我自己用着非常顺手，少写N行批处理

bat 处理文本的功能比较弱，繁杂的处理用相应工具处理比较好

那好，既然yishanju兄这么说，就请针对偶提出的需要，给出答案可好？偶对这个工具一点都没有概念的说，如果现在开始学习，恐怕有些慢……

这次学会了，下次就不慢了

4楼说到重点

@echo off&setlocal ENABLEDELAYEDEXPANSION
::所有set /p只是用来显示进度
::要读取所有文件,请自行再加一个for循环

set "cut="要去除的串列表" "注意：" "用空格隔开，" "和用双引号引起来""
set file=lent.txt
::out!file!为输出文件
cd.>out!file!

::读取文本,丢掉空行
for /f "tokens=*" %%a in ('type !file!') do (
cls
echo.&echo.&echo.&set /p =正在处理请稍候.<nul
set "str=%%a"
call :sub
)
echo.完成.. &type out!file!
pause
goto :eof

::丢掉纯半角行和半角字符多或等于20的行
:sub
call :getlen2 strlen0
set str=!str:"=""!
call :getlen2 strlen2
for /f "skip=1 delims=:" %%a in ('^(echo "!str!"^&echo.^)^|findstr /o ".*"') do set/a strlen1=%%a-5
if !strlen1!==!strlen2! goto :eof
set /a m=strlen2*3-strlen1-strlen0
if !m! gtr 19 goto :eof
::**********************************


::清除特定词组
for %%a in (!cut!) do set "str=!str:%%~a=!"
::************

set /p =..<nul

::4个空格变回车换行
set "str=!str:2=22!"
set "str=!str: =020!"
set "str=!str: =a2a!"
set "str="!str:020=" "!""
for /f "tokens=1-8" %%b in ('echo !str!') do call :ret %%b&call :ret %%c&call :ret %%d&call :ret %%e&call :ret%%f &call :ret %%g&call :ret %%h&call :ret %%i
::****************
goto :eof


:getlen2
set n=0&set "s=!str!"
:loop
set /a n=!n!+16
set "m=!s!fedcba9876543210"
set "s=!str:~%n%!"
if defined s goto loop
set /a %1=0x!m:~16,1!+!n!-15
set /p =.<nul
goto :eof

:ret
set /p =.<nul
set "ret=%~1"
if not defined ret goto :eof
set "ret=!ret:a2a= !"
set "ret=!ret:22=2!"
set "ret=!ret:""="!"
echo !ret!>>out!file!
goto :eof

Last edited by netbenton on 2009-1-24 at 02:38 ]

本来回你的贴就没什么恶意的意思，居然被你咬成这样，又是我骂我充内行又是说我抄袭的。令人感慨

你在某个论坛上，发了某篇帖子，然后我都不是按你的希望来回复的，你就愤怒了是吗？

Last edited by yishanju on 2009-1-24 at 04:14 ]

对我道歉就不用了,想想对其他人有没有必要吧.批处理是多个命令或程序一起处理来达到一定的目的,第三方工具也属于程序呀,只要可以达到想要的目的,就可以借用了.要处理通用性问题可将第三工具转成debug代码或包含在批处理内生成临时文件再调用,就可以了.
再提一下,10楼的代码是可以处理1楼的功能的,只要加个for 提取文件就可以遍历所有文件了,只是效率就没有三方工具高.
也祝你新年快乐!
附增改代码(只贴修改部分):

@echo off&setlocal ENABLEDELAYEDEXPANSION
::所有set /p只是用来显示进度
set "cut="要去除的串列表" "注意：" "用空格隔开，" "和用双引号引起来""

::读取所有txt文件
for /f "delims=" %%a in ('dir /b /s *.txt') do (
set "file=%%a"
rem 直接替换原文件,不产生临时文件
rem 读取文本,丢掉空行
for /f "tokens=*" %%b in ('type !file!^&cd.^>!file!') do (
cls
echo.&echo.&echo.&set /p =正在处理请稍候.<nul
set "str=%%b"
call :sub
)
echo.完成.. &type !file!
pause
)

goto :eof
......


*********
把后面的
echo !ret!>>out!file!
改成:
echo !ret!>>!file!
**********

Last edited by netbenton on 2009-1-24 at 20:32 ]

Originally posted by pkto at 2009-1-23 09:54:

很搞笑唉，如果这也是重点的话，那还来批处理这里干什么？说实话，偶的需求，如果不是批处理的话，偶早就实现了，而且也极简单 ...

呵呵，不是重点你为什么不坚持使用批处理了呢？
批处理文件和3方软件我们为什么要用？
方便工作提高效率。

批处理某些方面效率低你不能不承认！

你这个需求是要用对吧？而不是研究P处理的语法
功能什么的……你对别人给你脚本你会一句句语句
分析是干嘛的，如何实现的麽？
你不会，因为你不了解批处理。

如果拿来用，效率是第一位，如果是研究你倒可以坚持非用P不可。

很搞笑唉，如果这也是重点的话，那还来批处理这里干什么？
的确搞笑～这个就是你的问题……不要盲目。
先大概了解下批处理的实用范围。

别的问题P处理就方便，我会推荐你使用。


你如果从北京去上海你会骑自行车麽？
有了汽车，火车和飞机，自行车就没有用了？


适当的工具能事半功倍，反之，可能事倍功半

切！扣分么？


扣分的人自己看清楚，明明是自己。我对分数那种虚的东西不放心上。
加那2分你看着很不舒服非扣点不成？

那句话你如果多去了解下批处理吧。
如果批处理能处理的好，3方软件有必要出现麽？自己琢磨吧。

我觉得批处理是不会因为用了第三方工具就不是批处理了