中国DOS联盟论坛

中国DOS联盟

-- 联合DOS 推动DOS 发展DOS --
联盟域名：www.cn-dos.net　论坛域名：www.cn-dos.net/forum
游客 | 登录 | 注册 | 会员 | 搜索 | 中国DOS联盟
中国DOS联盟论坛
现在时间是 2026-08-10 19:16 		共 47,811 主题排行 / 349,897 发帖 / 今日 0 篇 / 48,256 会员排行
DOS批处理 & 脚本技术（批处理室） » [原创]GBK ＆ UTF8 编码互转脚本 (CMD+GAWK)
可打印版本 　18,792 / 31
第1楼　无奈何 发表于 2006-11-30 00:31
荣誉版主　发帖 356　积分 1,338
[原创]GBK ＆ UTF8 编码互转脚本 (CMD+GAWK)
GBK ＆ UTF8 编码互转脚本 (CMD+GAWK)

因为我的实际应用中需要 UTF8 到 GBK 的编码转换，所以就用 GAWK 写了一个，事实上在我早先的帖子中已经在使用。这次整理了一下，已支持编码的双向转换，自己制作了完整的 GBK 到 UTF8 的转码对照表，制作中发现系统的转码结果和 iconv 的转码结果有不少差异，对照表采用的是前者。
本脚本支持管道和文件的编码转换，结果输出到屏幕。现在参数支持不多，但是有参数完整性的检测功能，可以完成多参数的无序调用。采用了新的脚本释放方法，源文件有改动时会自动更新脚本。还有错误消息和依赖文件完整性检查机制。希望这些小技巧对大家编写批处理有所帮助。
GAWK 下载链接：http://www.klabaster.com/progs/gawk32.zip
脚本及转码表见附件。


  1. :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::
  2. :: gbk2utf8.cmd -V0.1 -- GBK & UTF8 编码互转
  3. :: 无奈何@cn-dos.net - 2006-11-28 - CMD & GAWK
  4. :: 用法：gbk2utf8 /I file...
  5. :: 支持文件: - gawk.exe gbk2utf8.dat
  6. :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::
  7. @echo off
  8. setlocal
  9. set self="%~f0"
  10. set AwkScript="%temp%\%~n0%~z0.awk"
  11. set path=%path%;%~dp0;%cd%
  12. set nofile=
  13. set error=
  14. set input=

  16. ::依赖文件完整性检查
  17. for %%i in (gawk.exe gbk2utf8.dat) do (
  18. @if "%%~$PATH:i" == "" (
  19. echo.程序所依赖文件 "%%i" 缺失。
  20. set nofile=1
  21. ) else ( set %%~ni="%%~$PATH:i" )
  22. )
  23. if defined nofile goto :EOF
  24. ::文件改动后更新脚本
  25. if not exist %AwkScript% (
  26. del /q "%temp%\%~n0*.awk" 2>nul
  27. gawk "/^#<-1/,/^#>-1/{if(!/^#/)print}" %self% >%AwkScript%
  28. )

  30. :ParseLoop
  31. if "%~1" == "" goto Start
  32. if "%~1" == "?" goto SwitchH
  33. if "%~1" == "/?" goto SwitchH
  34. rem 参数处理并转到相应标签。
  35. for %%s in (U u I i h H) do if "%~1"=="/%%s" goto Switch%%s
  36. if "%F_input%" == "1" (
  37. if not exist "%~1" set error=警告：文件 "%~1" 不存在。 & goto error
  38. set input=%input% "%~1"
  39. shift
  40. goto ParseLoop
  41. )
  42. if "%F_input%" == "-1" shift & goto ParseLoop
  43. set error=错误: 参数格式不正确 - "%1" !
  44. goto error

  46. :SwitchI
  47. set F_input=1
  48. if "%~2" == "-" set F_input=-1
  49. shift
  50. goto ParseLoop

  52. :SwitchU
  53. set F=-1
  54. shift
  55. goto ParseLoop

  57. :error
  58. echo.%error%
  59. echo.
  60. :SwitchH
  61. echo.gbk2utf8 V0.1 -- GBK ^& UTF8 编码互转
  62. echo.
  63. echo.用法：1、%~n0
  64. echo. 2、%~n0 /I file...
  65. echo. 3、%~n0 /I -
  66. echo.
  67. echo.选项： /? 显示本简短帮助,等价命令 /H 。
  68. echo. /U UTF8 转码为 GBK ，默认设置为 GBK 转码为 UTF8 。
  69. echo. /I 指定转换文件，“-”号从标准输出获得。
  70. echo. 本参数可以空缺，缺省将从标准输出获得。
  71. echo. 指定转换文件时，/I 参数不可省略。
  72. goto :EOF

  74. :Start
  75. if "%input%" == "" set F_input=-1
  76. if "%F_input%" == "-1" (
  77. gawk -v F=%F% -f %AwkScript%
  78. ) else (
  79. gawk -v F=%F% -f %AwkScript% %input%
  80. )
  81. goto :EOF

  83. :AwkScript
  84. #<-1
  85. function gbk2utf8(string,flag, reg, gbkreg, utf8reg, char, result){
  86. gbkreg="|"
  87. utf8reg="||\xe0||\xf0|"
  88. reg=gbkreg
  89. if (flag==-1)
  90. reg=utf8reg
  91. RLENGTH = 1
  92. while(RLENGTH != -1){
  93. match(string,reg)
  94. char=substr(string,RSTART,RLENGTH)
  95. if (RLENGTH>1)
  96. char=charset
  97. result=result char
  98. string=substr(string,RSTART+RLENGTH)
  99. }
  100. return result
  101. }

  103. BEGIN {
  104. FS=","
  105. if (!F) F=1
  106. if (F==1) {
  107. while((getline<"gbk2utf8.dat") > 0)
  108. charset=$2
  109. }
  110. else{
  111. while((getline<"gbk2utf8.dat") > 0)
  112. charset=$1
  113. }
  114. close("gbk2utf8.dat")
  115. }
  116. {
  117. x=gbk2utf8($0,F)
  118. print x
  119. }
  120. #>-1
  121. goto :EOF
无奈何发表于 2006-11-30 01:02


[ Last edited by 无奈何 on 2006-11-30 at 02:04 PM ]

附件
gbk2utf8.zip (102.8 KiB)
第2楼　ccwan 发表于 2006-11-30 00:38
金牌会员　发帖 1,160　积分 2,725　来自 河北廊坊
强贴留名。（electronixtar兄莫怪侵权^_^）
无奈何兄是我永不能翻越的高山啊！
第3楼　zh159 发表于 2006-11-30 00:42
金牌会员　发帖 1,467　积分 3,687
以前我在网上找到一个 GBK-Unicode 的编码对照表（7k多对照字符），自己用批处理计算生成了 GBK-UTF-8 编码对照表，只要用查字典的 for 方式，就可以瞬间提取 UTF-8 编码，先找找看...
第4楼　vkill 发表于 2006-11-30 00:46
金牌会员　发帖 1,744　积分 4,103　来自 甘肃.临泽
哎，gawk那段还是看不懂，学习中
第5楼　redtek 发表于 2006-11-30 00:48
金牌会员　发帖 1,147　积分 2,902
太精彩了～～～
第6楼　无奈何 发表于 2006-11-30 00:51
荣誉版主　发帖 356　积分 1,338
ccwan 兄过谦了，我也不是高手。
zxcv 兄，7k 多的是 GB2312 的，完整 GBK 有 2w 多，共 22046 个码位。
第7楼　无奈何 发表于 2006-11-30 00:58
荣誉版主　发帖 356　积分 1,338
RE vkill
GAWK 支持多字节编码，这种处理方法的好处是只要编写匹配编码的正则表达式就可通用于其他其他编码的转换。应该说也是比较好理解的，唯一做的就是获取字符长度并截取。
第8楼　zh159 发表于 2006-11-30 01:52
金牌会员　发帖 1,467　积分 3,687
Originally posted by 无奈何 at 2006-11-29 12:51:
ccwan 兄过谦了，我也不是高手。
zxcv 兄，7k 多的是 GB2312 的，完整 GBK 有 2w 多，共 22046 个码位。

确实如此，看来得找一个完整 GBK 的算一个 GBK-UTF-8 对照表了
第9楼　zh159 发表于 2006-11-30 02:21
金牌会员　发帖 1,467　积分 3,687
已经获得了完整的 gbk2utf8 编码库

发现这个gbk2utf8编码库和我转换的 GB 版有很多数据不同：
例：
gbk2utf8
A1A42C C2B7
A1A52C CB89
A1A62C CB87
A1A72C C2A8

红色部分是gbk的识别

gb2utf8
a1a4 E383BB
a1a5 E08B89
a1a6 E08B87
a1a7 E082A8


好像这个gbk2utf8编码库GB部分的部分编码对照有误，超出库GB部分的编码暂时未发现错误
第10楼　无奈何 发表于 2006-11-30 03:45
荣誉版主　发帖 356　积分 1,338
RE zxcv
我的那个中间加了分隔符 “,” 也就是 0X2C 。
给你一段我写的生成 GBK 所有字符的 AWK 脚本。自己另存为 UTF8 就可以获得两个编码的对照表了。


[ Last edited by 无奈何 on 2006-11-30 at 03:50 AM ]
第11楼　zh159 发表于 2006-11-30 04:23
金牌会员　发帖 1,467　积分 3,687
GB部分的编码只剩下面的找不到对应的

A8BB C991
A8BD C584
A8BE C588
A8C0 C9A1


先试试了^_^
第12楼　electronixtar 发表于 2006-11-30 07:01
铂金会员　发帖 2,672　积分 7,493
没看懂，顶一个先
第13楼　HUNRYBECKY 发表于 2006-12-03 02:56
银牌会员　发帖 442　积分 1,179
太高深了。学习中。
第14楼　tao0610 发表于 2006-12-03 02:59
高级用户　发帖 218　积分 579
好像是C++
第15楼　redtek 发表于 2006-12-03 09:31
金牌会员　发帖 1,147　积分 2,902
GAWK真是强大啊～～～
1 2 3 　下一页
[ 联系联盟系统管理团队 - 中国DOS联盟 - 标准版 ]
Sponsored by ifanr Inc | © 2001–2023