在mysql数据库的日常使用中，数据重复是常见的问题，无论是查询时获取唯一结果，还是清理表中已有的重复记录，都需要掌握对应的去重方法，不同场景适用的方案存在差异。
查询时去重方法
使用distinct关键字
distinct是最常用的查询去重方式，用于返回唯一不同的值，可作用于单个字段或多个字段。
对单个字段去重的语法如下：
-- 查询用户表中不重复的城市 SELECT DISTINCT city FROM user_table;
对多个字段去重时，distinct会组合多个字段的值判断重复，只有所有字段都相同时才会被判定为重复记录：
-- 查询不重复的城市和年龄段组合 SELECT DISTINCT city, age_group FROM user_table;
使用group by子句
group by除了用于分组统计，也可以实现查询去重，并且可以配合聚合函数获取更多字段信息。
基础去重语法和distinct效果类似：
-- 按城市分组实现去重查询 SELECT city FROM user_table GROUP BY city;
如果需要保留去重后的其他字段，可以结合聚合函数使用：
-- 查询每个城市最早注册的用户信息 SELECT city, MIN(register_time) AS first_register_time FROM user_table GROUP BY city;
删除表中重复数据方法
使用子查询配合delete删除
这种方式适合删除表中完全重复或者指定字段重复的多余记录，保留一条即可。
假设user_table表中存在id、name、email三个字段，其中email重复的视为重复数据，需要保留id最小的一条：
-- 删除email重复的多余记录，保留id最小的一条
DELETE FROM user_table
WHERE id NOT IN (
SELECT min_id FROM (
SELECT MIN(id) AS min_id FROM user_table GROUP BY email
) AS temp_table
);
注意mysql中不能直接在子查询中查询同一张表后进行删除，所以需要多嵌套一层子查询生成临时表。
使用临时表迁移去重数据
如果表中重复数据较多，使用delete删除可能会影响性能，此时可以创建临时表迁移去重后的数据。
操作步骤分为三步：
- 创建和原表结构一致的临时表
- 将去重后的数据插入临时表
- 删除原表，将临时表重命名为原表名
具体示例代码如下：
-- 1. 创建临时表
CREATE TABLE user_table_temp LIKE user_table;
-- 2. 插入去重后的数据，保留id最小的一条
INSERT INTO user_table_temp
SELECT * FROM user_table
WHERE id IN (
SELECT MIN(id) FROM user_table GROUP BY email
);
-- 3. 删除原表，重命名临时表
DROP TABLE user_table;
ALTER TABLE user_table_temp RENAME TO user_table;
不同去重方法对比
以下是常用去重方法的适用场景和特点对比：
| 方法 | 适用场景 | 特点 |
|---|---|---|
| distinct | 查询时获取唯一值，不需要额外字段 | 语法简单，只能作用于查询，不能保留重复组的其他字段 |
| group by | 查询去重且需要聚合统计 | 灵活度高，可配合聚合函数获取更多字段信息 |
| 子查询删除 | 删除少量重复数据 | 操作简单，重复数据多时删除效率较低 |
| 临时表迁移 | 删除大量重复数据 | 性能更好，操作前需要确认表结构一致 |
操作删除重复数据前，建议先使用查询语句确认要删除的数据范围，避免误删有效数据，同时提前做好数据备份。