中国DOS联盟

-- 联合DOS 推动DOS 发展DOS --

联盟域名:www.cn-dos.net 论坛域名:www.cn-dos.net/forum
DOS,代表着自由开放与发展,我们努力起来,学习FreeDOS和Linux的自由开放与GNU精神,共同创造和发展美好的自由与GNU GPL世界吧!

中国DOS联盟论坛
现在时间是 2026-08-11 12:43
中国DOS联盟论坛 » DOS批处理 & 脚本技术(批处理室) » [出题]在不包含重复行的大文件中快速提取指定数量的行 查看 967 回复 10
楼 主 [出题]在不包含重复行的大文件中快速提取指定数量的行 发表于 2008-11-22 02:29 ·  美国 惠普HP
版主
★★★★★
积分 9,023
发帖 5,017
注册 2007-05-31 19:39
19年会员
UID 89899
性别 男
状态 离线
假设文本文件a.txt包含5万行互不重复的内容(不考虑特殊字符)
请用纯批处理以最快的速度提取前49990行
输出到b.txt

为了便于比较各种方案所需要的时间,我们以下面的代码产生的文本为评判标准(但实际上行与行之间的内容没有任何规律可循):
@echo off
>a.txt type nul
for /l %%a in (1,1,50000) do (
>>a.txt echo 中国DOS联盟批处理室测试数据%%a
)
2 发表于 2008-11-22 05:15 ·  中国 江苏 苏州 电信
银牌会员
★★★
积分 1,608
发帖 780
注册 2007-10-07 10:19
18年会员
UID 99089
性别 男
状态 离线
一觉醒来,先凑个数(基本都会的)

@echo off &setlocal enabledelayedexpansion
for /f "delims=" %%i in (a.txt) do (
set /a n+=1
if !n! equ 49991 (exit /b 0)
>>b.txt echo %%i
)
本帖最近评分记录 (共 1 条) 点击查看详情
评分人分数时间
HAT +2 2008-11-22 07:15
3 Re 2楼 发表于 2008-11-22 07:15 ·  美国 惠普HP
版主
★★★★★
积分 9,023
发帖 5,017
注册 2007-05-31 19:39
19年会员
UID 89899
性别 男
状态 离线
这个方法确实比较容易想到
不过还有更快的方法:)
4 发表于 2008-11-22 09:50 ·  中国 天津 电信
初级用户
积分 61
发帖 35
注册 2008-10-04 13:00
17年会员
UID 127389
性别 男
状态 离线
5万行啊,不知道比沙发的快不
@echo off
more +49990 1.txt>2.txt
echo.>>1.txt
findstr /bevig:2.txt 1.txt>3.txt
pause


[ Last edited by kissbill on 2008-11-22 at 09:52 ]
本帖最近评分记录 (共 1 条) 点击查看详情
评分人分数时间
moniuming +9 2008-11-23 12:09
5 执行速度 发表于 2008-11-22 11:05 ·  中国 江西 赣州 电信
银牌会员
★★★★
积分 2,025
发帖 1,122
注册 2007-09-05 20:15
18年会员
UID 96653
性别 男
状态 离线
C:\>timeit -s 2#if.bat

Version Number: Windows NT 5.1 (Build 2600)
Exit Time: 10:35 pm, Friday, November 21 2008
Elapsed Time: 0:00:28.484
Process Time: 0:00:21.453

C:\>timeit -s 4#findstr.bat

Version Number: Windows NT 5.1 (Build 2600)
Exit Time: 10:36 pm, Friday, November 21 2008
Elapsed Time: 0:00:04.093
Process Time: 0:00:00.046

(p.s.,纯批处理允许内部工具吗?)
6 发表于 2008-11-22 11:08 ·  中国 广西 桂林 永福县 电信
初级用户
积分 26
发帖 14
注册 2008-07-06 22:26
18年会员
UID 121182
状态 离线
用自己写的程序的话算“作弊”了吧……
7 发表于 2008-11-22 11:30 ·  中国 天津 电信
初级用户
积分 61
发帖 35
注册 2008-10-04 13:00
17年会员
UID 127389
性别 男
状态 离线
timeit 自己的工具?
8 Re 5楼 发表于 2008-11-22 12:51 ·  中国 重庆 电信
版主
★★★★★
积分 9,023
发帖 5,017
注册 2007-05-31 19:39
19年会员
UID 89899
性别 男
状态 离线
tireless 兄的代码为何不贴出来?
9 发表于 2008-11-22 12:53 ·  中国 江西 赣州 电信
银牌会员
★★★★
积分 2,025
发帖 1,122
注册 2007-09-05 20:15
18年会员
UID 96653
性别 男
状态 离线
Originally posted by HAT at 2008-11-22 12:51 PM:
tireless 兄的代码为何不贴出来?

我也只想到2楼和4楼的方法。5 楼贴出的数据是2楼和4楼的代码执行速度。
10 发表于 2008-11-22 14:45 ·  中国 广西 桂林 永福县 电信
初级用户
积分 26
发帖 14
注册 2008-07-06 22:26
18年会员
UID 121182
状态 离线
@ECHO OFF&SETLOCAL ENABLEDELAYEDEXPANSION
Set/A N=1
FOR /F "skip=49990" %%i IN (a.txt) DO (
Set String!N!=%%i
Set/A N+=1
)
Set/A N-=1
Set Command=FindStr /VC:!String%N%! a.txt
Set/A N-=1
FOR /L %%i IN (!N! -1 1) DO Set Command=!Command!^|FindStr /VC:!String%%i!
Cmd/C !Command!>output.txt
Output.txt
Del Output.txt


[ Last edited by Saber on 2008-11-22 at 16:12 ]
本帖最近评分记录 (共 1 条) 点击查看详情
评分人分数时间
moniuming +9 2008-11-23 12:14
11 不知道这样速度怎样 发表于 2009-02-25 23:37 ·  中国 广东 东莞 电信
银牌会员
★★★
批处理编程迷
积分 1,916
发帖 752
注册 2008-12-28 04:30
17年会员
UID 135147
性别 男
来自 广西
状态 离线
@echo off
(for /f "delims=:" %%a in ('findstr /n .* a.txt') do if %%a leq 49990 (echo.%%b) else (goto :quit))>b.txt
:quit

[ Last edited by netbenton on 2009-2-27 at 07:22 ]
精简
=> 个人网志
论坛跳转: