删除文本中重复的行

一段批处理删除文本中重复的行，可以用于文本筛选去处重复行，效果和 [Flash 标签云 For Zblog 1.8] 的第二个批处理差不多

。
<br /> @echo off<br /> (echo 清除重复行后的文件内容：& echo.)>b.txt<br /> for /f ”delims=” %%i in (a.txt) do (<br /> if not defined %%i set %%i=A & echo %%i>>b.txt)<br /> start b.txt 

同时我还找到了一个vbs脚本：注意用这个vbs的时候文本中不要有空行，否则会出错。

<br /> Const adOpenStatic = 3<br /> Const adLockOptimistic = 3<br /> Const adCmdText = &H0001<br /> Set objConnection = CreateObject(“ADODB.Connection”)<br /> Set objRecordSet = CreateObject(“ADODB.Recordset”)</p> <p>strPathToTextFile = ”D:\”<br /> strFile = ”a.txt”</p> <p>objConnection.Open ”Provider=Microsoft.Jet.OLEDB.4.0;” & _<br />       ”Data Source=” & strPathtoTextFile & ”;” & _<br />           ”Extended Properties=”"text;HDR=NO;FMT=Delimited”"”</p> <p>objRecordSet.Open ”Select DISTINCT * FROM ” & strFile, _<br />     objConnection, adOpenStatic, adLockOptimistic, adCmdText</p> <p>Do Until objRecordSet.EOF</p> <p>Set objFSO = CreateObject(“Scripting.FileSystemObject”)<br />      set Fp=objFSO.OpenTextFile(“D:\b.txt”,8,True,0)<br />      fp.WriteLine objRecordSet.Fields.Item(0).Value<br />      fp.close<br />      set objFSO = nothing<br />      objRecordSet.MoveNext<br /> Loop<br />

由于脚本使用了fso，部分杀软可能会提示，放行之即可。