有二个*.txt的文档, 每个文档有几十万行记录(文档内的每行记录都以 " ," 为分隔), 可不可以用批处理去把它们不相同一的放到别的文档呢?
[ Last edited by xmi on 2008-6-25 at 10:33 PM ]
[ Last edited by xmi on 2008-6-25 at 10:33 PM ]
中国DOS联盟
联盟域名：www.cn-dos.net 论坛域名：www.cn-dos.net/forum
DOS，代表着自由开放与发展，我们努力起来，学习FreeDOS和Linux的自由开放与GNU精神，共同创造和发展美好的自由与GNU GPL世界吧！
中国DOS联盟论坛 » DOS批处理 & 脚本技术（批处理室） » 几十万行记录对比?
查看 1,279 回复 11
楼 主
几十万行记录对比?
发表于 2008-06-25 22:26 · 中国 香港 环球全域电讯
第 2 楼
发表于 2008-06-25 22:47 · 中国 重庆 电信
gawk "ARGIND==1{a}ARGIND>1&&!($0 in a){print $0}" a.txt b.txt >>c.txt
gawk.exe
http://upload.cn-dos.net/img/548.zip
[ Last edited by HAT on 2008-11-4 at 09:38 ]
第 3 楼
发表于 2008-06-25 22:53 · 中国 香港 环球全域电讯
HAT: 请问这个是什么东东来的, 和怎用? ??? 谢谢
第 4 楼
发表于 2008-06-25 23:07 · 中国 湖南 株洲 电信
@echo off
rem 查找2.txt与1.txt中不同的行
findstr /v /g:1.txt 2.txt>3.txt
start 3.txt
ps:就是效率不怎么样
[ Last edited by zw19750516 on 2008-6-25 at 11:11 PM ]
批处理之家新域名：www.bathome.net
第 5 楼
发表于 2008-06-25 23:19 · 中国 重庆 电信
C:\Test>gawk --hlep
Usage: gawk -f progfile file ...
Usage: gawk "program" file ...
POSIX options: GNU long options:
-f progfile --file=progfile
-F fs --field-separator=fs
-v var=val --assign=var=val
-m val
-W compat --compat
-W copyleft --copyleft
-W copyright --copyright
-W dump-variables --dump-variables
-W gen-po --gen-po
-W help --help
-W lint --lint
-W lint-old --lint-old
-W non-decimal-data --non-decimal-data
-W profile --profile
-W posix --posix
-W re-interval --re-interval
-W source=program-text --source=program-text
-W traditional --traditional
-W usage --usage
-W version --version
To report bugs, see node `Bugs' in `gawk.info', which is
section `Reporting Problems and Bugs' in the printed version.
看帮助
第 6 楼
发表于 2008-06-25 23:23 · 中国 湖南 株洲 电信
首先请用文本自身的替换功能将1.txt中所有的,替换成空格
ps：效率更是慢得惊人，前提还要所有的数据中不包含空格。
[ Last edited by zw19750516 on 2008-6-25 at 11:27 PM ]
@echo off&setlocal enabledelayedexpansion
rem 查找1.txt与2.txt的不同之处
for /f "delims=" %%a in (1.txt) do (
for %%i in (%%a) do (
set "flag="
findstr "%%i" 2.txt>nul&&set flag=A
if not defined flag echo %%i>>3.txt
)
)
start 3.txt
ps：效率更是慢得惊人，前提还要所有的数据中不包含空格。
[ Last edited by zw19750516 on 2008-6-25 at 11:27 PM ]
批处理之家新域名：www.bathome.net
第 7 楼
发表于 2008-06-25 23:51 · 中国 香港 环球全域电讯
Originally posted by HAT at 2008-6-25 11:19 PM:
看帮助
hat兄, 我试过你给我的code
gawk "ARGIND==1{a}ARGIND>1&&!($0 in a){print $0}" a.txt b.txt >>c.txt但我看完help, 还是不会用, 它内狸没有ARGIND这个的解说?
第 8 楼
发表于 2008-06-25 23:53 · 中国 香港 环球全域电讯
Originally posted by zw19750516 at 2008-6-25 11:07 PM:
@echo off
rem 查找2.txt与1.txt中不同的行
findstr /v /g:1.txt 2.txt>3.txt
start 3.txt
ps:就是效率不怎么样
[ Last edited by zw19750516 on 2008-6-25 at 11:11 PM ]
谢谢zw19750516, 不能完全成功, 结果的输出有两者的不相同, 但也有相同的出现在3.txt......
第 9 楼
发表于 2008-06-26 00:06 · 中国 四川 泸州 联通
如果真是几十万行的话,效率确实是个问题.二个文件中如果不相同的愉多,时间会非常
惊人.一般简单的命令不会使你满意.
为了提高效率,一 必须用fc 去掉大量的相同行缩小范围 .二 再在结果中去掉重复行
如果你要求一一对应,不相同的行又多,恐怕你的机器再好,也要运行几分钟或几个小时
或更多时间
惊人.一般简单的命令不会使你满意.
为了提高效率,一 必须用fc 去掉大量的相同行缩小范围 .二 再在结果中去掉重复行
如果你要求一一对应,不相同的行又多,恐怕你的机器再好,也要运行几分钟或几个小时
或更多时间
第 10 楼
发表于 2008-06-26 00:19 · 中国 湖北 武汉 联通
几十万行，我想是不是可以导入到数据库中用SQL来的快些？
第 11 楼
发表于 2008-06-26 00:23 · 中国 香港 环球全域电讯
Originally posted by lxmxn at 2008-6-26 12:19 AM:
几十万行，我想是不是可以导入到数据库中用SQL来的快些？
是个txt档来的呀, 可以吗?
第 12 楼
发表于 2008-06-26 09:53 · 美国 惠普HP
Originally posted by xmi at 2008-6-25 11:51 PM:
hat兄, 我试过你给我的code, 成功抓到.万分谢意!gawk "ARGIND==1{a}ARGIND>1&&!($0 in a){print $0}" a.txt b.txt >>c.txt
但我看完h ...
建议到ChinaUnix的Shell版潜水一段时间^_^
论坛跳转: