在使用SQL的SELECT语句查询数据时，重复数据是非常常见的问题，比如查询用户表中的城市信息时，同一个城市可能会因为对应用户数量多而出现多次，这时候就需要通过合适的方式处理这些重复数据，让查询结果更符合业务需求。
使用DISTINCT关键字去重
DISTINCT是最基础的处理重复数据的方式，它会直接返回查询结果中唯一不重复的记录，作用于SELECT后面跟的所有列，也就是说只有当所有列的值都相同时，才会被判定为重复数据。
基本语法如下：
-- 查询用户表中不重复的城市 SELECT DISTINCT city FROM user_table; -- 查询不重复的城市和年龄段组合，只有城市和年龄段都相同才会去重 SELECT DISTINCT city, age_group FROM user_table;
需要注意的是，DISTINCT会对所有选中的列进行联合去重，如果只需要对某一列去重，就不能把其他列也放到SELECT后面，否则去重逻辑会不符合预期。
结合GROUP BY实现分组去重
GROUP BY可以将相同值的行分为一组，天然具备去重的效果，同时还可以结合聚合函数对分组后的数据做统计，比DISTINCT的适用场景更丰富。
基础用法示例：
-- 按照城市分组，每个城市只返回一条记录，实现去重 SELECT city FROM user_table GROUP BY city; -- 按照城市和年龄段分组，同时统计每个分组的用户数量 SELECT city, age_group, COUNT(*) AS user_count FROM user_table GROUP BY city, age_group;
GROUP BY的去重逻辑和DISTINCT类似，都是基于分组列的值是否相同来判断重复，但GROUP BY可以在分组后做更多数据处理，比如求和、取最大值等操作。
统计重复数据的出现次数
有时候我们不仅需要去重，还需要知道原始数据中每条记录重复了多少次，这时候可以结合GROUP BY和HAVING子句来实现。
示例代码如下：
-- 查询出现次数大于1的重复城市，以及对应的出现次数 SELECT city, COUNT(*) AS repeat_count FROM user_table GROUP BY city HAVING COUNT(*) > 1;
这段查询会先按照城市分组，统计每个城市的记录数，然后筛选出记录数大于1的分组，也就是存在重复数据的城市，同时返回重复的次数。
不同去重方式的适用场景对比
为了帮助开发者选择合适的方式，这里整理了两种常见去重方式的对比：
| 方式 | 适用场景 | 优势 | 局限 |
|---|---|---|---|
| DISTINCT | 只需要简单去重，不需要额外统计操作 | 语法简单，执行效率高 | 无法对分组后的数据做进一步处理 |
| GROUP BY | 去重的同时需要统计、聚合操作 | 功能更丰富，支持多种后续处理 | 语法相对复杂，简单场景下效率略低于DISTINCT |
注意事项
- DISTINCT关键字要放在所有SELECT列的最前面，不能放在中间或者其他位置。
- 如果查询中包含
ORDER BY子句，排序的列必须是SELECT中已经选择的列，否则部分数据库会报错。 - 处理大表数据时，去重操作会消耗较多资源，建议提前确认是否需要全表去重，或者加上合适的WHERE条件缩小数据范围。
在实际开发中，处理SELECT语句的重复数据没有固定的最优解，需要根据具体的业务需求和数据规模选择合适的方式，确保查询结果准确且性能符合要求。