删除重复行

删除列表中的重复行并保持原有顺序。可选区分大小写、去除首尾空格和删除空行。免费且保护隐私。

选项

完全在浏览器中运行,您的数据不会被上传。

什么是 删除重复行?

删除列表中重复的行,只保留每一行第一次出现的那条,并保持原有顺序。它会报告删除了多少行,还可以忽略字母大小写、首尾空格和空行。

如何使用 删除重复行

  1. 把你的列表(每行一项)粘贴到输入框中。
  2. 选择匹配时是否区分大小写,以及是否去除行首行尾空格和删除空行。
  3. 从输出中复制去重后的列表;下方一行会显示删除了多少行。

示例

输入
a
B
b
a
输出
a
B

默认设置(不区分大小写):2 line(s) removed

何时使用 删除重复行

适用于清理电子邮件列表、关键词列表、ID、网址或日志行。它只比较整行;如需查找行内重复,或 CSV 各列之间的重复,请改用电子表格。

删除重复行 的工作原理

各行自上而下处理。每一行(若开启了去除空格则先去除首尾空格)会被转换成比较用的键——除非选择区分大小写,否则转为小写——并存入 Set。如果某行的键已经在集合中,就丢弃它,否则保留。由于只保留第一次出现的行,其余行的顺序不变。开启去除空格后,输出包含的是去除空格后的行。

常见用例

  • 导入之前清理邮件列表
  • 删除 SEO 关键词列表中重复的关键词
  • 从粘贴的一列数据中获取唯一值
  • 给从日志中复制的网址或 ID 去重

常见问题

会保留原来的顺序吗?

会。每一行第一次出现的位置保持不变,之后的重复行被删除。如果还想排序,请使用文本排序工具。

忽略大小写时,保留重复项中的哪一个?

保留第一个。如果 "a" 后面跟着 "A",输出会保留 "a"。

空行会被当作重复行吗?

开启删除空行时,所有空行都会被删除。关闭时,保留第一个空行,之后的空行会被当作重复行删除。

推荐的下一步

探索更多分类