输入文本
0 行
去重结果
0 行
关于 重复行删除工具
重复行删除工具在浏览器本地对文本按行去重，保留首次出现的顺序。支持大小写敏感和大小写不敏感两种模式：敏感模式下 Foo 和 foo 视为不同行，不敏感模式下统一按小写比较。去重算法基于 ES6 Set 数据结构的 O(1) 查找特性，无需排序即可高效处理数万行文本——这正是它与"先排序再相邻去重"写法的本质区别，后者会打乱原有相对顺序。处理完成后显示删除的重复行数量，便于核对结果。用起来有几个要注意的点：模式选错会把本应区分的记录误删，比如在大小写不敏感模式下去重日志，"ERROR" 与 "error" 会被当成同一条，若二者语义不同就会丢失信息；多个空行默认也被去重成一行。若你想要更细的维度，可以先做频次统计再决定阈值，这样既能收敛异常样本，又不会丢掉有价值的重复信息。去重结果建议与原始行数对照核对。所有操作在浏览器本地完成，不上传任何数据，适合处理日志、名单、词表等需要唯一化的文本。
使用方法
- 打开「重复行删除工具」
- 粘贴待处理的文本
- 根据需要调整输出选项
- 点击「处理」按钮，结果实时显示
- 复制或导出结果
使用场景
- 日志去重 — 从重复的日志条目中保留唯一记录，减少日志分析时的干扰项。
- 数据导出清洗 — 去除 CSV 或 TSV 数据中的重复行，保留首次出现的数据记录。
- 代码片段去重 — 清理代码中重复的 import 语句或配置行，保持代码整洁。
- 词表去重 — 对关键词列表或停用词表去重，确保每个词条只出现一次。
- ID 列表去重 — 去除用户 ID、订单号等列表中的重复项，生成唯一标识符集合。
- 邮件收件人去重 — 把邮件群发名单按行去重，避免同一收件人收到多封重复邮件。
常见问题
去重后会保留原始顺序吗？
会。工具保留每行首次出现的顺序，后续重复行被删除，不会对文本重新排序。
大小写敏感和不敏感有什么区别？
敏感模式下 Foo 和 foo 是不同行都保留；不敏感模式下统一转小写比较，只保留先出现的那个。
模式选错会误删吗？
会。不敏感模式会把仅大小写不同的行合并，若语义不同（如日志中的 ERROR/error）就会丢信息，处理前先确认模式。
能处理多少行文本？
基于 ES6 Set 的 O(1) 查找，数万行文本可在毫秒级完成去重，适合处理大型日志和数据文件。
能顺便统计每行出现次数吗？
本工具主打去重、保留首次出现，不直接统计频次；如需频次信息建议配合文本统计工具或自行排序分组后再决定去重阈值。
空行会被当作重复行删除吗？
默认情况下多个空行也会被去重只保留一个。如需完全删除空行，请配合使用空行删除工具。
数据安全吗？
安全。所有去重操作在浏览器本地完成，不发送任何网络请求，可安全处理含敏感信息的文本。
广告