文本去重

这个工具能做什么

按行处理文本并去掉重复内容。可以勾选忽略大小写、忽略空行、去除行首尾空白与压缩连续重复行，也能顺手对结果排序。处理完成后会给出保留行数、移除的重复行数与原始行数三个数字，方便和原数据核对。

如何使用

1. 粘贴每行一条的文本
2. 按需勾选忽略大小写、忽略空行、去除空白等选项
3. 点「去重」执行
4. 查看保留行数、移除重复行数与原始行数
5. 复制结果

适合哪些场景

• 整理邮箱列表去掉重复地址
• 给关键词或标签列表去重
• 清理名单、日志里的重复行

使用限制

• 按整行比较，不识别写法不同但语义相近的内容。
• 排序按中文本地化顺序进行，数字与英文按字符序排列。

常见问题

能部分匹配去重吗？

不能，比较的是整行内容是否相同。

可以保留原有顺序吗？

可以，默认保留首次出现的顺序，只有勾选排序才会重排。

「压缩连续重复行」和去重有什么区别？

它只合并相邻的重复行，相隔较远的重复内容会保留。

相关工具

隐私说明

输入的文字在当前浏览器中处理，不会上传到服务器；不需要注册。