在mysql的实际使用中，多列去重指的是根据多个字段的组合来判断记录是否重复，只保留其中一条符合条件的记录，这种需求在数据统计、数据清洗场景中非常常见。
使用distinct关键字实现多列去重
distinct是mysql中去重最基础的关键字，它可以对指定的多个列组合进行去重，返回所有列组合唯一的记录。需要注意的是，distinct必须放在查询字段的最前面，且会对后面所有的列组合生效。
假设我们有一张用户订单表user_order，表结构如下：
-- 创建用户订单表
CREATE TABLE user_order (
id INT PRIMARY KEY AUTO_INCREMENT,
user_id INT NOT NULL,
order_type VARCHAR(20) NOT NULL,
order_amount DECIMAL(10,2) NOT NULL,
create_time DATETIME NOT NULL
);
-- 插入测试数据
INSERT INTO user_order (user_id, order_type, order_amount, create_time) VALUES
(1, '普通订单', 100.00, '2024-01-01 10:00:00'),
(1, '普通订单', 150.00, '2024-01-02 11:00:00'),
(1, '秒杀订单', 50.00, '2024-01-01 12:00:00'),
(2, '普通订单', 200.00, '2024-01-01 10:00:00'),
(2, '普通订单', 200.00, '2024-01-03 14:00:00');
如果我们想要查询所有不同的用户和订单类型的组合，就可以使用distinct对user_id和order_type两个列去重：
-- 查询user_id和order_type的唯一组合 SELECT DISTINCT user_id, order_type FROM user_order;
执行上述语句后，会返回4条记录，分别是(1,普通订单)、(1,秒杀订单)、(2,普通订单)，重复的(2,普通订单)组合只保留一条。
使用group by分组实现多列去重
group by分组也可以实现多列去重，它的逻辑是按照指定的多个列进行分组，每个组只返回一条记录。和distinct不同的是，group by可以配合聚合函数使用，还能指定返回的组内记录的排序规则。
还是以上面的user_order表为例，如果我们想要获取每个用户每种订单类型下的最新订单记录，就可以用group by先对user_id和order_type分组，再取每组中create_time最大的记录：
-- 获取每个用户每种订单类型的最新订单 SELECT user_id, order_type, MAX(create_time) AS latest_create_time FROM user_order GROUP BY user_id, order_type;
如果还需要获取最新订单的其他字段，比如订单金额，就需要用子查询先找到每个分组的最大创建时间，再关联原表查询：
-- 获取每个用户每种订单类型的最新订单完整信息
SELECT uo.*
FROM user_order uo
INNER JOIN (
SELECT user_id, order_type, MAX(create_time) AS max_create_time
FROM user_order
GROUP BY user_id, order_type
) tmp ON uo.user_id = tmp.user_id
AND uo.order_type = tmp.order_type
AND uo.create_time = tmp.max_create_time;
使用窗口函数实现多列去重
mysql 8.0及以上版本支持窗口函数，使用窗口函数实现多列去重会更加灵活，尤其是需要保留原表所有字段的场景。常用的窗口函数是ROW_NUMBER()，它可以给每个分组内的记录生成序号，我们只要取序号为1的记录即可实现去重。
同样以user_order表为例，使用窗口函数获取每个用户每种订单类型的最新订单：
-- 使用ROW_NUMBER窗口函数去重
SELECT *
FROM (
SELECT *,
ROW_NUMBER() OVER (
PARTITION BY user_id, order_type
ORDER BY create_time DESC
) AS rn
FROM user_order
) tmp
WHERE rn = 1;
上面的语句中，PARTITION BY user_id, order_type表示按照用户ID和订单类型分组，ORDER BY create_time DESC表示每个组内按照创建时间倒序排序，ROW_NUMBER()会给每个组的记录从1开始编号，最后取编号为1的记录，就是每个分组的最新订单。
不同多列去重方法的对比
三种常用的多列去重方法各有适用场景，我们可以通过下面的表格快速了解它们的区别：
| 方法 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| distinct | 只需要查询去重的多列组合，不需要其他字段 | 语法简单，执行效率高 | 无法配合聚合函数，不能指定保留哪条记录 |
| group by | 需要配合聚合函数统计，或获取分组后的聚合结果 | 功能灵活，支持聚合计算 | 获取分组内完整记录需要额外关联查询，写法稍复杂 |
| 窗口函数 | mysql 8.0+，需要保留原表所有字段，指定保留分组内的某条记录 | 逻辑清晰，不需要额外关联表，支持复杂排序规则 | 仅支持mysql 8.0及以上版本，低版本无法使用 |
多列去重的注意事项
- 使用distinct时，null值会被视为相同的值，多个列的null组合也会被视为重复记录。
- group by分组时，如果分组列有null值，所有null值的记录会被分到同一个组。
- 窗口函数的
PARTITION BY后面可以跟多个列，实现多列分组去重，排序规则可以根据实际需求调整，比如按照ID倒序保留最新插入的记录。 - 如果数据量较大，多列去重操作建议给参与去重的列建立联合索引，提升查询效率。