什么是重复行去除工具？
重复行去除工具可清除文本中的重复行。粘贴列表、日志文件或数据集，即可获得仅含唯一行的结果，可保持原始顺序，或按 A–Z、Z–A、长度排序，也可随机打乱。
工具允许在比较前先去除首尾空格、忽略大小写,这样「Apple」「apple 」「 apple」开启对应开关后会合并为同一行。Before 面板会高亮所有重复行并显示出现次数,方便核对哪些行被合并了。把「保留」设为「删除全部重复」,即可只留下仅出现一次的行。没有行数限制,可以粘贴文本或直接从本机载入 .txt、.csv 文件,数据不会上传。
使用方法
- 将包含重复行的文本粘贴或输入到输入区域。
- 设置选项：区分或不区分大小写、修剪空白、保留首次还是最后一次出现，并为输出选择排序方式。
- 清理后的文本会随输入实时更新——无需点击任何按钮。并排查看 Before、After 和已移除三个面板，参考频次表，然后复制或下载结果。
何时使用
- 清理 CSV 表里同一个客户被多次重复录入的行。
- 把上万行的日志压缩成唯一的报错信息后再排查问题。
- 合并多个活动的邮件名单,避免同一个人收到重复的通知。
结果
一位开发者粘贴了 500 条含有重复错误信息的日志记录，精简后仅剩 47 条唯一行，真正的问题一目了然。
常见问题
- 结果会保留我粘贴时的原始顺序吗?
- 将「输出排序」设为「原始顺序」，每行首次出现的位置会原样保留。换成 A → Z、Z → A、按长度或随机打乱则会重新排序唯一行——按字母排序在送进 diff 或提交前很方便。想保留最后一次出现？开启「保留最后一个」即可。
- 大小写敏感开关具体是怎么工作的?
- 开启时,「Apple」和「apple」被视为两条不同的行。关闭后两者视为同一行,工具会保留先出现的那条的大小写写法,最终输出保持你原始的风格。
- 「去除空白」选项做了什么?
- 比较前会去掉每行开头和结尾的空格、制表符。「 hello 」和「hello」会被视为相同。行内部的空格不会动,所以「hello world」(两个空格)和「hello world」(一个空格)依然算作不同的行。
- 能反过来只留出现多次的那些行吗?
- 不作为主输出,但右侧的「已移除」面板会列出每一行被删除的内容及其原始行号,你可以直接查看或复制这些重复行,无需在 Before 面板里逐个找。若想反过来——只留出现一次的行——把「保留」设为「删除全部重复」即可。
- 粘贴的内容有长度上限吗?
- 没有硬性上限。已经在百万行级别的文件上测试过,实际速度取决于设备性能。文本完全在本地处理,不会离开你的电脑,所以敏感清单也可以放心使用。