删除重复行
删除列表中的重复行并保持原有顺序。可选区分大小写、去除首尾空格和删除空行。免费且保护隐私。
完全在浏览器中运行,您的数据不会被上传。
什么是 删除重复行?
删除列表中重复的行,只保留每一行第一次出现的那条,并保持原有顺序。它会报告删除了多少行,还可以忽略字母大小写、首尾空格和空行。
如何使用 删除重复行
- 把你的列表(每行一项)粘贴到输入框中。
- 选择匹配时是否区分大小写,以及是否去除行首行尾空格和删除空行。
- 从输出中复制去重后的列表;下方一行会显示删除了多少行。
示例
输入
a B b a
输出
a B
默认设置(不区分大小写):2 line(s) removed
何时使用 删除重复行
适用于清理电子邮件列表、关键词列表、ID、网址或日志行。它只比较整行;如需查找行内重复,或 CSV 各列之间的重复,请改用电子表格。
删除重复行 的工作原理
各行自上而下处理。每一行(若开启了去除空格则先去除首尾空格)会被转换成比较用的键——除非选择区分大小写,否则转为小写——并存入 Set。如果某行的键已经在集合中,就丢弃它,否则保留。由于只保留第一次出现的行,其余行的顺序不变。开启去除空格后,输出包含的是去除空格后的行。
常见用例
- 导入之前清理邮件列表
- 删除 SEO 关键词列表中重复的关键词
- 从粘贴的一列数据中获取唯一值
- 给从日志中复制的网址或 ID 去重
常见问题
会保留原来的顺序吗?
会。每一行第一次出现的位置保持不变,之后的重复行被删除。如果还想排序,请使用文本排序工具。
忽略大小写时,保留重复项中的哪一个?
保留第一个。如果 "a" 后面跟着 "A",输出会保留 "a"。
空行会被当作重复行吗?
开启删除空行时,所有空行都会被删除。关闭时,保留第一个空行,之后的空行会被当作重复行删除。