中国DOS联盟

如题，可以用DOS命令实现吗？

FC ？

怎么删除TXT中相同的行

Const adOpenStatic = 3
Const adLockOptimistic = 3
Const adCmdText = &H0001

Set objConnection = CreateObject("ADODB.Connection")
Set objRecordSet = CreateObject("ADODB.Recordset")

strPathToTextFile = "C:\Scripts\"
strFile = "Test.txt"

objConnection.Open "Provider=Microsoft.Jet.OLEDB.4.0;" & _
"Data Source=" & strPathtoTextFile & ";" & _
"Extended Properties=""text;HDR=NO;FMT=Delimited"""

objRecordSet.Open "Select DISTINCT * FROM " & strFile, _
objConnection, adOpenStatic, adLockOptimistic, adCmdText

Do Until objRecordSet.EOF
Wscript.Echo objRecordSet.Fields.Item(0).Value
objRecordSet.MoveNext
Loop

　　请问楼主，你要删除所有的重复行还是对重复了N次的行只保留其中的一行？删除之后，不同行的相对位置还要保持不变吗？

假如你的文件是 a.txt

cd.>a_temp.txt
for /f "tokens=1 delims=," %%i in (a.txt) do (find a_temp.txt "%%i" && echo.>nul||echo %%i>>a_temp.txt)

生成新文件a_temp.txt 文件就是了，我在改一个东西的时候想到用的

[ Last edited by he200377 on 2006-9-6 at 03:15 ]

Re he200377：

　　事情没那么简单，你这个代码还有很多缺陷：

　　1、当后面有N行内容与第一行相同时，第一行的内容并不能被过滤掉；

　　2、当把一个文件的内容复制一次再接在原来的行后的话，输出的内容为复制之前的内容。也就是说，当文件内所有行都有重复N次的时候，还会打印1/N行的内容；

　　3、delims=, 这个分隔符有何依据？只用find而不用findstr的正则表达式，会把很多行中含有 %%i 字符串的行过滤掉；

　　4、echo %%i>>a_temp.txt这一句中会把原文件里行首的所有空格都去掉，也就是说不能保留原行的格式；

　　要实现过滤重复行的操作，还有很多情况是需要考虑的，并且，由于CMD对某些字符敏感，无论代码编写得如何完美，还是不能在所有场合中都适用。

　　最近也在思考这个问题该如何处理，也和论坛上的一些朋友探讨过，目前已经有了比较成熟的方案，正在除错的测试过程中。如果楼主能回答我在4楼提出的问题，那么，对我现在这个代码的完善就有了更好的帮助了。

[ Last edited by namejm on 2006-9-6 at 04:53 ]

Re namejm

1、当后面有N行内容与第一行相同时，第一行的内容并不能被过滤掉；
#可以的啊

2、当把一个文件的内容复制一次再接在原来的行后的话，输出的内容为复制之前电脑内容。也就是说，当文件内所有行都有重复N次的时候，还会打印1/N行的内容；
#不明白

3、delims=, 这个分隔符有何依据？只用find而不用findstr的正则表达式，会把很多行中含有%%i字符串的行过滤掉；
#这到是，没有想到，应该用findstr /v ,delims=,这里可以看情况改改，我直接复制过来也没有看

4、echo %%i>>a_temp.txt这一句中会把原文件里行首的所有空格都去掉，也就是说不能保留原行的格式；
#这确实不能保留原行的格式

Re he200377『第 8 楼』:

　　1、当你构造如a.txt所示的文本来测试就知道不可以了；

　　2、用如b.txt所示的文本测试一下就明白了。

a.txt
dos china dos dos bat dos
b.txt
dos china bat dos china bat dos china bat

─────────────────　版务记录　─────────────────
执行：Will Sort
操作：移动主题：自 DOS疑難解答 & 問題討論（解答室）
说明：按照新的版区分划方案，本主题更适合于发表在此版区
─────────────────　版务记录　─────────────────


[ Last edited by willsort on 2006-9-13 at 23:21 ]

　　如果楼主是要把所有相同内容的行都删掉的话，可以用如下代码(本来想把各个功能都完善一下的，现在只做了个半成品)：
@echo off :: mode con lines=25 :: 解决问题的思路： :: 比较相邻三行的内容 :: 如果前两行内容相等，并且与第三行不相等，则取第二行的内容放入repetition.txt :: 如此循环 :: 跳出for之后 :: 如果最后一行和倒数第二行内容相等，则把最后一行内容放入repetition.txt :: 最后，用for从repetition.txt中逐行读出信息，在原文件中把这些信息过滤掉 :: 行首的空格将被忽略，空行将不被删除(且不纳入统计数据) :: 效率惊人地高 :: 不能处理的符号有： :: 管道符号:| :: 连接符号：&、&&、|| :: 重定向符号：<、<<、>、>> :: 转义符号：^ :: 其他字符："、;、:、\(但是在行首是可以的) :: 弊端： :: findstr不能搜索过长的字符串(长度是多少？) :: Code by JM,Thanks to NaturalJ0 :: build on 2006-9-4～2006-9- :: 还要完善或者开发的功能： :: 对无用的临时文件的处理；统计被过滤的行数；操作时的提示；适应各种文件名； cls title 相同行内容过滤器-处理中... call :blank call :blank echo 正在处理，请耐心等待... :: 做程序开始时间标记 set time_begin=%time:~0,-3% for /f "tokens=1,2,3 delims=:" %%i in ("%time_begin%") do ( set /a hour_b=%%i set /a munite_b=%% set /a second_b=%% ) set lines_total=0 set count_same=0 >sort.txt sort<test.txt cd.>repetition.txt setlocal enabledelayedexpansion for /f "tokens=*" %%i in (sort.txt) do ( set first=!second! set second=!third! set third=%%i set /a lines_total+=1 call :comp_ ) :: 当%second%未取到值的时候，要避免repetition.txt记录echo的状态 if not "%second%"=="" if "%second%"=="%third%" >>repetition.txt echo %third%&& set /a count_same+=1 :: 没有重复内容则不对原文件作过滤处理 findstr . repetition.txt>nul||(del /q repetition.txt & goto :result) copy test.txt test.bak>nul for /f "tokens=*" %%i in (repetition.txt) do ( findstr /v "\<%%i\>" test.txt>>tmp.txt del /q test.txt ren tmp.txt test.txt ) :result for /f "tokens=*" %%i in (test.txt) do ( set /a lines_spare+=1 ) if "%lines_spare%"=="" set lines_spare=0 :: 当文本内容超过3行，且存在用相同个数的空格为内容的行时 :: repetition.txt会记录echo的状态，会导致统计不准确 :: 所以还要用通过比较处理前后行数是否相同来校正统计数据 if "%lines_total%"=="%lines_spare%" (del /q repetition.txt&set count_same=0) set /a lines_del=%lines_total%-%lines_spare% cls title 相同行内容过滤器-过滤结果 call :blank echo ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ echo 原文件共有 %lines_total% 行;共有 %count_same% 条重复记录.(未计算空行) echo 处理后的文件还剩 %lines_spare% 行.(未计算空行) echo 被删除的内容总计 %lines_del% 行 rem ======计算花费的时间======== set time_end=%time:~0,-3% for /f "tokens=1,2,3 delims=:" %%i in ("%time_end%") do ( set /a hour_e=%% set /a munite_e=%%j set /a second_e=%%k ) call :time_lapse echo 耗时： %hour_% 小时 %munite_% 分 %second_% 秒. echo. echo test.txt为处理后的文件；test.bak为原始文件的备份 echo sort.txt为原始文件内容的排序文件，你可以很方便地 echo 查看文本内容重复与否及重复情况； echo repetition为重复行的内容，升序排列；若原始文本没 echo 有重复行，则此文件不存在. echo ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ call :blank echo 按任意键退出... pause>nul goto :eof :comp_ :: 当%second%或者三个变量全都取到空值的时候，要避免repetition.txt记录echo的状态 if not "%first%"=="" ( if not "%second%"=="" ( if "%second%"=="%first%" ( if not "%second%"=="%third%" >>repetition.txt echo %second%&& set /a count_same+=1 ) ) ) goto :eof rem =====计算运行程序花费的时间======== :time_lapse :: 一定要按照 秒=>分钟=>小时 的顺序操作 if %second_e% lss %second_b% ( set /a munite_e=%munite_e%-1 set /a second_e=%second_e%+60 ) set /a second_=%second_e%-%second_b% if %munite_e% lss %munite_b% ( set /a hour_e=%hour_e%-1 set /a munite_e=%munite_e%+60 ) set /a munite_=%munite_e%-%munite_b% if %hour_e% lss %hour_b% ( set /a hour_e=%hour_e%+24 ) set /a hour_=%hour_e%-%hour_b% goto :eof :blank echo. echo. echo. echo. goto :eof

to:willsort
我冤枉啊，斑竹大人，我是半年前发贴求救的，半年前还没这个板块的，我不是故意发错地方的。

to:namejm
谢谢你半年后还能帮我找到这个帖子，并且帮我写出脚本，测试中

我打算半一个文本A.TXT中重复的行删除后，得到B.TXT

A

CHINA
DOS

DOS

cn dos
BBS
CHINA



B
CHINA
DOS
cn dos
BBS

[ Last edited by a9319751 on 2006-9-13 at 11:56 ]

Originally posted by he200377 at 2006-9-6 03:13:
假如你的文件是 a.txt

cd.>a_temp.txt
for /f "tokens=1 delims=," %%i in (a.txt) do (find a_temp.txt "%%i" && echo.>nul||echo %%i>>a_temp.txt)

生栮..

谢谢你的回复，测试不错,但是未测试特殊字符

[ Last edited by a9319751 on 2006-9-13 at 11:59 ]

　　如果楼主只是想把重复N次的行打印一次，并且无须保持行的相对位置不变的话，可以参考bagpipe曾经写过的一段代码：

　　排序，过滤相同行（简单批处理）

[ Last edited by namejm on 2006-9-13 at 12:03 ]

Re a9319751『第 11 楼』:

很抱歉，我的操作失误给你带来了负面影响，对此我郑重表示道歉！

现已对原处理方式作出纠正，望周知。