重复数据行是让很多数据库管理员头疼的问题。可能因为应用层没有做好幂等校验，也可能是数据迁移时多次导入同一份文件，又或者是多线程并发插入时缺少唯一约束，最终导致表中出现了大量逻辑上完全相同的行。这些重复记录不仅占用额外的磁盘空间，还会让统计查询产生偏差，甚至拖慢关联操作的性能。彻底消除重复行并不是简单地执行一条DELETE命令那么简单，我们需要先准确定义“重复”的标准，再根据表的大小和MySQL版本选择最适合的清理策略。
精确定义重复行：明确去重依据
在执行任何删除操作之前，必须定义清楚什么是“重复”。最理想的情况是表中存在业务上的唯一标识，比如订单号、用户ID等，但这类字段一般都有唯一索引保护，不太可能产生重复。实际情况里，重复往往出现在缺少这类强约束的字段组合上。例如一个日志表，同一时间、同一用户、同一操作类型可能被记录了多次，这时就需要把时间戳、用户ID和操作类型三个字段联合起来作为判断依据。
还有一种更为困难的情况：没有天然的业务键，数据看起来完全一样但不该被视为重复。比如用户表里有两个叫“张三”的人，虽然姓名相同，但可能是不同的用户。这时就需要依赖自增主键来辅助判别，通常的做法是保留主键最小的那一条，把其余主键较大的相同数据行删除。因此，在动手之前一定要先写出SELECT查询语句，确认被标记为重复的记录是否符合预期，避免误删合法数据。
自连接删除法：精准剔除冗余行
这是MySQL中最经典、使用最广的去重方式。核心思路是对同一张表做自连接，保留一条作为“基准”，然后将与其重复的其他行删除。例如有一张名为orders的表，包含字段order_no（订单号）、customer_id（客户ID）和created_at（创建时间），我们认为order_no和customer_id的组合应该是唯一的，如果出现了多条就属于重复。删除时可以保留id最小的那条记录：
DELETE t1 FROM orders t1 INNER JOIN orders t2 ON t1.order_no = t2.order_no AND t1.customer_id = t2.customer_id AND t1.id > t2.id;
这段SQL的含义是：将表orders分别命名为t1和t2，当t1和t2在order_no和customer_id上相等，且t1的主键id大于t2的主键id时，删除t1中的记录。因为只有id较大的那些行才满足t1.id > t2.id，所以每次连接都会保留同组中id最小的一条，其余冗余行全部被清理。
这种方法的好处是语句简洁，一条SQL就能完成去重，无需创建临时表。但它也有明显的短板：当重复数据量极大（几十万甚至上百万条）时，自连接产生的笛卡尔积会导致执行速度急剧下降，甚至造成锁等待超时。因此建议先在测试环境验证，或者通过分批删除来降低压力。执行前务必检查相关字段上有无索引，至少要给join条件里的字段建立复合索引，否则全表扫描会让删除操作变得极其缓慢。
临时表去重法：安全可靠的大表救星
对于数据量庞大的业务表，自连接操作可能会长时间锁定记录，影响线上服务。此时更适合采用“临时表中转”的策略。基本流程是：先创建一个与原始表结构相同的新表，然后把去重后的数据插入到新表，最后通过重命名表或者TRUNCATE原表再倒回数据的方式完成替换。这期间只会产生短暂的锁表时间，对业务影响更小。
具体步骤可拆解如下。假设原始表为user_actions，包含字段user_id、action、action_time，去重依据是这三个字段组合唯一，保留主键最大的一条记录。首先创建临时表：
CREATE TABLE user_actions_temp LIKE user_actions;
然后利用GROUP BY和聚合函数选出每组中要保留的那一行。这里可以用MAX(id)定位目标行：
INSERT INTO user_actions_temp
SELECT * FROM user_actions
WHERE id IN (
SELECT MAX(id) FROM user_actions
GROUP BY user_id, action, action_time
);
检查数据无误后，在一个事务中原子性地完成替换：
START TRANSACTION; RENAME TABLE user_actions TO user_actions_old, user_actions_temp TO user_actions; DROP TABLE user_actions_old; COMMIT;
这种方法虽然步骤稍多，但中间过程可控，插入数据时可以暂停或分批处理，非常适合生产环境的大表清理。唯一需要注意的是，在重命名期间可能会有极短时间无法写入，应该选择业务低峰期执行。
窗口函数去重法：MySQL 8.0+ 的高效利器
如果你的数据库版本是MySQL 8.0及以上，那么ROW_NUMBER()窗口函数会让去重变得前所未有的简单。该函数可以按照指定的分区对数据排序并编号，我们只要保留编号为1的行即可。还是以orders表为例，按order_no和customer_id分区，按id升序编号，id最小的那一行会被标记为1：
DELETE FROM orders
WHERE id IN (
SELECT id FROM (
SELECT id,
ROW_NUMBER() OVER (
PARTITION BY order_no, customer_id
ORDER BY id
) AS rn
FROM orders
) t
WHERE t.rn > 1
);
这里使用了子查询生成一个包含rn的临时结果集，然后删除rn大于1的所有记录。之所以包裹两层子查询，是因为MySQL不允许在同一个表上直接UPDATE或DELETE时引用子查询中的同一张表（除非采用派生表的方式绕开限制）。借助ROW_NUMBER()，去重逻辑变得高度可读，而且性能通常优于自连接，尤其是当重复组内记录数较多时，窗口函数可以避免大量笛卡尔积计算。
另一个值得留意的函数是RANK()和DENSE_RANK()，它们在处理并列排名的场景可能产生非预期的保留结果。对于去重而言，ROW_NUMBER()是最合适的，因为它给每一行分配唯一的序号，不会出现并列第一的情况，从而确保每组只保留一条记录。
GROUP BY 结合 HAVING：先查后删的保守方案
如果只是想找出重复数据但暂时不删除，或者需要人工审核后再决定如何处理，可以先用GROUP BY和HAVING子句把重复组列举出来。例如：
SELECT order_no, customer_id, COUNT(*) AS cnt FROM orders GROUP BY order_no, customer_id HAVING cnt > 1;
这条语句能列出所有出现次数大于1的组合。进一步地，我们可以找出每组中除了保留的那一条之外的所有id：
SELECT id FROM orders t
WHERE EXISTS (
SELECT 1 FROM orders
WHERE order_no = t.order_no
AND customer_id = t.customer_id
AND id < t.id
);
这里使用EXISTS子查询来检测是否存在一个id更小的相同组合记录，如果存在就说明当前行是重复的且不是最小的，应该被删除。将此查询的结果作为子查询传入DELETE语句，就能安全地批量删除。这种方式的好处是逻辑清晰，方便在执行前查看要删除的数据明细，缺点是需要手动拼接多步操作，不适合自动化脚本。对于数据量不大的表，结合EXISTS也能达到不错的删除效率。
预防胜于治疗：用唯一约束杜绝未来重复
清理完眼下的重复数据，更重要的是防止问题再次发生。根据去重的依据字段，可以在表上添加唯一索引或唯一约束。例如：
ALTER TABLE orders ADD UNIQUE INDEX idx_order_customer (order_no, customer_id);
这样做不仅能从根本上阻止新重复数据的写入，还能加速基于这些字段的查询，可谓一举两得。但执行该操作前必须确保表中已经没有任何重复记录，否则ALTER TABLE会直接报错。因此，完整的去重闭环应该是：确认去重依据 -> 删除重复行 -> 验证数据无重复 -> 添加唯一索引。如果业务上无法接受唯一约束带来的插入失败，也可以使用INSERT IGNORE或者ON DUPLICATE KEY UPDATE等语法在应用层做幂等处理，但数据库层面的约束依然是最坚固的防线。