假如你采集了很多邮箱、淘宝买家帐号、QQ帐号,或其它类似的帐号、ID等信息,但里面有很多重复的数据,手工去除那太慢太烦容易出错,这时候就可以使用重复数据过滤神器来过滤重复的数据。本软件支持字符串过滤,也支持对.csv文件直接过滤。
重复数据过滤神器功能特点
1、支持多文件批量过滤,支持多线程过滤,以列表方式友好显示每个文件各自的过滤进度。
2、支持多文件合并过滤,如果你将数据保存在了多个文件中,不必合并,可以直接对这几个文件进行合并及去重复过滤,最后保存为一个无重复数据的文件。
3、每个文件过滤都会提供过滤报告,记录各个数据的重复次数,你可以再次按重复次数来筛选数据(比如在提取的淘宝交易订单信息中,如果某个买家帐号出现的重复次数高于某个值,我们可以认为它可能是刷信誉的买家而非真买家从而再次去除等)。
4、本软件主要针对QQ号、旺旺号、邮箱、手机等任何你想去除重复的字符串数据。
重复数据过滤神器功能说明
1、字符串过滤
去除重复字串(只保留一次),过滤时一行一个字符串(字符串如帐号、ID等)。
将要过滤的字符串填写到下面的文本框中,每行一个;也可以点击【导入文本】按钮从文件导入数据(如果导入的数据有乱码,将原文用记事本打开并另存,将编码改为ANSI)。
2、csv文件数据过滤
直接去除csv数据中的重复数据。
要对csv进行过滤时,需要先指定以哪一个列作为过滤基准,即,如果不同行中的该列数据一样时,表示二个行是相同的,那么将只保留最前面的那一行,后面的行将被忽略。设置好后,选择过滤后产生的新文件要保存的位置,点击“开始过滤”即可完成csv文件的数据过滤。
重复数据过滤神器更新内容
1、字符串过滤增加行数显示,增加过滤进度
2、增加txt文件过滤,批量多个文件多线程同时过滤,支持各自过滤进度的显示;增加将多个txt文件合并过滤成一个文件。
3、Csv文件过滤增加批量多个文件多线程同时过滤,支持各自过滤进度的显示;增加将多个csv文件合并过滤成一个文件。
4、增加过滤报告,显示重复数据的重复次数等。
5、本版开始成为共享软件,未激活也能使用,但有限制:字符串过滤不得大于1万行,txt、csv文件过滤时文件大小不得大于1M,不得同时过滤3个或以上的文件。
- PC官方版
- 安卓官方手机版
- IOS官方手机版