在Oracle数据库的实际使用中,重复数据是非常常见的问题,比如用户表出现多个相同用户ID的记录、订单表存在重复订单号的数据等,这类重复数据会导致统计结果偏差、业务逻辑异常。我们需要根据具体的重复判定规则,从每组重复数据中只筛选出一条有效记录。

常见重复数据场景与判定规则
首先需要明确重复数据的判定维度,常见的重复判定规则分为两种:
- 全字段重复:所有列的值都完全相同的记录,这类重复数据最容易识别
- 部分字段重复:仅指定的一列或多列值相同,其他列值可能不同,比如同一用户ID对应多条不同时间的登录记录
方法一:使用distinct关键字去重
如果重复数据是全字段重复,或者只需要对单个字段去重且不需要保留其他字段的差异化值,可以使用distinct关键字快速去重。distinct会对查询结果的所有列进行去重,返回不重复的记录。
示例:查询用户表中不重复的用户姓名,假设用户表为user_info,姓名字段为user_name:
-- 全字段去重,返回所有列都不重复的记录 SELECT DISTINCT * FROM user_info; -- 对单个字段去重,仅返回不重复的user_name SELECT DISTINCT user_name FROM user_info;
注意:distinct关键字会对查询的所有列生效,如果查询多个列,只有这些列的值全部相同时才会被判定为重复,无法做到仅对部分列去重同时保留其他列的值。
方法二:使用row_number分析函数去重
当需要对部分字段去重,并且需要从每组重复数据中按指定规则取一条(比如取最新的一条、取ID最大的一条)时,row_number分析函数是更合适的选择。该函数会为每组重复数据按排序规则生成序号,我们只需取序号为1的记录即可。
语法格式:
ROW_NUMBER() OVER (PARTITION BY 重复判定字段 ORDER BY 排序字段 [ASC|DESC]) AS rn
参数说明:
- PARTITION BY:指定分组的字段,也就是重复判定的字段,相同值的记录会被分到同一组
- ORDER BY:指定每组内记录的排序规则,用来决定取哪一条作为有效记录,比如按创建时间倒序取最新的一条
示例:用户表user_info中,user_id为重复判定字段,需要从每个user_id的多条记录中取创建时间最新的一条:
SELECT
user_id,
user_name,
create_time
FROM (
SELECT
user_id,
user_name,
create_time,
ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY create_time DESC) AS rn
FROM user_info
) t
WHERE t.rn = 1;
上述查询中,PARTITION BY user_id会把相同user_id的记录分为一组,ORDER BY create_time DESC会让每组内按创建时间从新到旧排序,row_number会为每组内的记录生成从1开始的序号,最后筛选rn=1就得到了每个user_id最新的一条记录。
方法三:使用group by分组去重
如果只需要对部分字段去重,并且要保留的字段可以通过聚合函数(比如max、min)获取,也可以使用group by分组的方式实现。group by会把指定字段值相同的记录分为一组,然后对每个组使用聚合函数计算其他字段的值。
示例:同样从user_info表中取每个user_id对应的最新创建时间记录,假设create_time是日期类型,最新即最大的create_time:
SELECT
user_id,
MAX(create_time) AS latest_create_time
FROM user_info
GROUP BY user_id;
如果需要同时获取其他字段,比如user_name,需要注意group by要求select后面的非聚合字段必须出现在group by中,因此如果user_name和user_id是一一对应的,可以把user_name也加入group by:
SELECT
user_id,
user_name,
MAX(create_time) AS latest_create_time
FROM user_info
GROUP BY user_id, user_name;
如果user_name和user_id不是一一对应,这种分组方式就无法准确取到对应最新时间的user_name,此时更推荐使用row_number函数的方式。
不同方法的适用场景对比
为了更清晰地选择去重方法,以下是三种方案的适用场景对比:
| 去重方法 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| distinct | 全字段重复去重,或单字段去重不需要其他字段 | 语法简单,执行效率高 | 无法对部分字段去重,无法指定取哪条记录 |
| row_number | 部分字段去重,需要按规则取指定的一条记录 | 灵活度高,可自定义排序规则取任意一条 | 语法相对复杂,大数据量下性能略低于distinct |
| group by | 部分字段去重,其他字段可通过聚合函数获取 | 适合统计类查询,可同时做聚合计算 | 无法精确到取组内某条具体记录,非聚合字段处理受限 |
注意事项
在使用上述方法去重时,需要注意以下几点:
- 去重前先确认重复判定规则,避免误删有效数据,建议先查询重复数据的数量和样例,确认规则无误后再执行去重查询或删除操作
- 如果需要对重复数据进行删除,只保留一条,可以结合row_number函数实现,比如删除user_info表中每个user_id除最新记录外的其他重复数据:
DELETE FROM user_info
WHERE (user_id, create_time) IN (
SELECT
user_id,
create_time
FROM (
SELECT
user_id,
create_time,
ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY create_time DESC) AS rn
FROM user_info
) t
WHERE t.rn > 1
);
执行删除操作前一定要做好数据备份,避免数据丢失无法恢复。
根据实际业务场景选择合适的去重方法,就能高效解决Oracle数据库中重复数据只取一条的问题,保证业务数据的准确性和查询效率。
Oracle重复数据去重查询row_numberdistinct修改时间:2026-07-17 07:06:27