数据库用久了，重复数据就像灰尘一样悄悄堆积。有的是因为缺少唯一约束，有的是并发写入没做好控制，还有的是历史数据迁移时留下的隐患。等发现的时候，往往已经在报表里看到了莫名其妙的统计数字。这篇文章系统地整理SQL中统计重复数据和定位具体重复行的几种实用方法，从最基础的GROUP BY到灵活的窗口函数，再到删除时的注意事项，一次性讲清楚。
用GROUP BY和HAVING统计重复数据
这是最经典也是最常用的方案。GROUP BY负责按字段分组，HAVING负责过滤分组后的结果，两者配合可以快速找出哪些值出现了多次。很多初学者会在这里犯一个错误：把过滤条件写到WHERE里。WHERE是在分组之前执行的，它看不到聚合结果，所以COUNT(*) > 1这种条件必须放在HAVING中。
假设有一张用户表users，怀疑手机号存在重复，可以这样写：
-- 统计单个字段的重复情况 SELECT phone, COUNT(*) AS cnt FROM users GROUP BY phone HAVING COUNT(*) > 1 ORDER BY cnt DESC;
这条语句返回所有出现次数大于1的手机号以及各自的出现次数，按重复次数从高到低排列。如果需要按多个字段的组合判断重复，比如同一订单号加同一商品编号才算重复，把两个字段都放进GROUP BY即可：
-- 按多字段组合统计重复 SELECT order_id, product_id, COUNT(*) AS cnt FROM order_items GROUP BY order_id, product_id HAVING COUNT(*) > 1;
这种写法在MySQL、PostgreSQL、SQL Server、Oracle里都通用，兼容性非常好。它的局限在于只能告诉你“哪些值重复了、重复了几次”，但没法直接告诉你具体是哪几行记录重复。要精确到行，就需要配合其他手段。
定位具体重复行的两种思路
自关联查询定位重复记录
先通过GROUP BY找出重复的键值，再用子查询或JOIN把这些键值对应的所有行捞出来。这样查出的结果就是完整的重复行明细，包含主键id，为后续删除做准备：
SELECT *
FROM users
WHERE phone IN (
SELECT phone
FROM users
GROUP BY phone
HAVING COUNT(*) > 1
)
ORDER BY phone, id;
数据量不大时这个方案简单直接。但如果表有上千万行，IN子查询的性能会明显下降，可以改用JOIN连接派生表的方式，让数据库先算出重复键的临时结果集再关联，通常能利用上索引，速度会快不少。
用窗口函数ROW_NUMBER精确定位
窗口函数是处理重复数据的利器，MySQL 8.0以上、PostgreSQL、SQL Server都支持。它的核心思想是：按重复字段分组，组内按某个排序规则编号，编号大于1的行就是多余的重复行：
SELECT *
FROM (
SELECT t.*,
ROW_NUMBER() OVER (PARTITION BY phone ORDER BY id) AS rn
FROM users t
) x
WHERE x.rn > 1;
这个写法的优势在于排序规则完全可控。比如想保留每个重复组里创建时间最早的那条记录，把ORDER BY改成created_at ASC就行；想保留最新的，改成created_at DESC。PARTITION BY里也可以放多个字段，处理组合重复同样方便。相比自关联，窗口函数只需要扫一遍表，在大表上性能优势明显。
安全删除重复数据的实践方案
统计和定位只是第一步，最终目的往往是清理。删除重复数据有几个必须注意的点：一定要先备份，先在测试环境验证，删除语句必须带上WHERE条件限定主键，绝不能直接按重复字段删，否则会把整个重复组都删掉，一条都不剩。
在MySQL中，如果表结构里有主键或唯一列，可以借助中间表或者直接删除rn大于1的记录：
-- MySQL 8.0 删除重复行，保留id最小的一条
DELETE FROM users
WHERE id IN (
SELECT id FROM (
SELECT id,
ROW_NUMBER() OVER (PARTITION BY phone ORDER BY id) AS rn
FROM users
) t
WHERE t.rn > 1
);
注意这里外层多套了一层派生表，因为MySQL不允许在DELETE的子查询中直接引用被删除的同一张表，套一层临时结果就能绕过这个限制。另一种思路是把不重复的数据插入一张新表，确认无误后重命名替换原表，这种方式对超大表更友好，还能顺便重建索引压缩空间。
清理完成后，别忘了根除隐患：给关键字段加上唯一索引，例如ALTER TABLE users ADD UNIQUE INDEX uk_phone (phone)。有了唯一约束，后续插入重复数据会直接报错，从源头堵住问题。如果业务允许重复插入但需要幂等，可以在写入时使用INSERT IGNORE或ON DUPLICATE KEY UPDATE。总结一下，统计重复用GROUP BY加HAVING，定位到行用ROW_NUMBER窗口函数，删除时严格按主键操作并提前备份，三步走下来，重复数据问题就能彻底解决。
SQL重复数据统计重复数据定位GROUP BY去重修改时间：2026-09-08 09:30:44