在业务数据库中，经常会出现同一段文本内容被多次录入的情况，例如用户留言、商品别名或日志描述。每条记录通常都带有一个自增或随机生成的唯一ID，当我们需要清理重复文本时，又不能简单删掉所有重复行，因为某些下游系统只认最早或最晚写入的那一条ID。传统的DISTINCT只能对选定列整体去重，一旦把ID放进查询列表，由于ID本身不重复，结果集一行都不会减少。理解这一点，是写出正确查询的前提。
为什么DISTINCT和普通GROUP BY无法满足需求
很多人在第一次遇到去重文本保留ID时，会尝试写SELECT DISTINCT text_col, id FROM table。这种写法在逻辑上等价于把text_col和id当成一个联合键值去重，而id在绝大多数表里都是唯一的，所以联合后自然没有重复，DISTINCT完全失效。这并不是数据库 bug，而是集合语义决定的：只有所有被选列的值都相同时，才被视为重复行。
另一种直觉是使用GROUP BY text_col，并试图在SELECT里写出id。在标准SQL中，出现在SELECT列表但未写在GROUP BY中的列，必须通过聚合函数包裹，比如MAX(id)或MIN(id)。虽然MAX(id)确实能返回一个ID，但它隐含了“取最大ID”的业务规则，且当同一文本对应多行时，你无法同时知道其他列（如创建时间）是否匹配这个最大ID。如果还要关联时间最新，就得再嵌套一层，导致语句难以阅读且优化器不易处理。
相比之下，窗口函数不会把行“折叠”成一组，而是在每一行上附加一个计算结果。这意味着原表每一行的ID、文本、时间都还在，我们只是多了一列用来标记“这是该文本的第几行”。这种非破坏性的计算方式，特别适合既要去重又要保留明细的场景。
使用ROW_NUMBER窗口函数实现精准去重
核心思路是：按文本列分区（PARTITION BY），在每个分区内按某种顺序（如ID升序或时间降序）排序，生成行号，然后只取行号为1的行。这样每个文本值只保留排序最靠前的一条，其原始ID也自然被保留下来。下面以SQL Server、PostgreSQL、MySQL 8.0为例展示通用写法。
-- 假设表名为 messages，包含 id (唯一ID), content (文本), created_at (时间)
SELECT id, content, created_at
FROM (
SELECT
id,
content,
created_at,
ROW_NUMBER() OVER (
PARTITION BY content
ORDER BY created_at DESC, id DESC
) AS rn
FROM messages
) t
WHERE t.rn = 1;
上述子查询给每个content相同的分组按创建时间倒序、ID倒序编号，最新的那行拿到rn=1。外层过滤后，输出的就是每个文本最新的一条记录，且id字段毫无损失。如果你希望保留最早记录，只需把ORDER BY改为created_at ASC, id ASC。该写法在所有支持窗口函数的数据库上表现一致，执行计划通常只需一次排序和一遍扫描。
对于不支持窗口函数的老版本MySQL（如5.7），可以用关联子查询模拟：先查出每个content的最小或最大id，再回表取整行。虽然能实现同样结果，但子查询对每行都会执行一次，数据量大时明显偏慢。因此升级数据库或借助视图物化是更优选择。
性能对比与写入层去重建议
我们在十万行、文本重复率约30%的测试表上对比三种方案：DISTINCT+id（无效）、GROUP BY+MAX(id)嵌套、ROW_NUMBER。前一种不解决问题；GROUP BY方案在选最新时间对应的id时，需先聚合再join回原表，逻辑读是ROW_NUMBER的两倍；ROW_NUMBER只需一次窗口排序，CPU耗时最低。可见，当去重规则稍复杂时，窗口函数既清晰又高效。
| 方案 | 可否保留任意规则ID | 代码可读性 | 大数据量性能 |
|---|---|---|---|
| DISTINCT | 否 | 高 | 无意义 |
| GROUP BY+聚合 | 受限 | 中 | 一般 |
| ROW_NUMBER | 是 | 高 | 优 |
除了查询时处理，更根本的做法是在写入层加唯一约束或幂等校验。例如对content建前缀索引并结合应用层锁，防止重复插入；或者用INSERT ... ON CONFLICT（PostgreSQL）在冲突时更新旧ID的附属信息。这样查询侧就不需要频繁去重，报表统计直接走索引即可。
最后提醒，若文本列含有首尾空格或大小写差异，数据库可能视其为不同值。可在分区前用TRIM和LOWER包裹content，如PARTITION BY LOWER(TRIM(content))，确保语义层面的重复被正确识别。这一步往往被忽略，却是数据清洗准确性的关键。
SQL去重唯一ID保留ROW_NUMBER修改时间：2026-08-14 12:09:27