在千万级数据的SQL报表场景中,分页查询是绕不开的需求。当表数据量变大,传统limit配合偏移量的写法在翻到后面几页时响应会明显变慢,而主键游标分页依靠有序主键连续取值,能稳定保持查询效率。理解两者的底层差异,才能选对方案。

传统分页的问题在哪里
常见的报表分页语句如下,通过limit和偏移量获取某一页:
-- 获取第100001到100020条记录 select id, user_name, amount, create_time from report_order order by id asc limit 100000, 20; </code>
数据库在执行时,必须先排序再向后扫描并丢弃前100000行,只返回最后20行。数据量越大、翻页越深,丢弃的行数越多,CPU和IO消耗越严重。
主键游标分页怎么写
如果表主键id是自增且连续的,可以用上一页最大id作为游标:
-- 已知上一页最大id为100000,取下一页 select id, user_name, amount, create_time from report_order where id > 100000 order by id asc limit 20; </code>
这条语句利用主键索引直接定位,不需要跳过历史数据,扫描行数恒定为页大小。
两种方案对比
| 分页方式 | 深翻页性能 | 是否依赖排序字段 | 适用场景 |
|---|---|---|---|
| 传统limit分页 | 随偏移量增大急剧下降 | 是 | 小表或浅分页 |
| 主键游标分页 | 稳定 | 依赖有序主键 | 大表顺序翻页 |
使用游标分页的注意点
- 主键必须有序且查询按该主键排序,否则游标会漏数据。
- 若业务允许删除数据导致主键不连续,游标分页依然可用,只是页内数量可能不足。
- 不支持任意跳页,只能上一页下一页,报表导出通常满足。
在代码中封装游标查询
下面用Python简单演示游标翻页读取报表:
import pymysql
conn = pymysql.connect(host='127.0.0.1', user='root', password='test', db='report')
cur = conn.cursor()
last_id = 0
page_size = 1000
while True:
cur.execute(
"select id, user_name, amount from report_order where id > %s order by id asc limit %s",
(last_id, page_size)
)
rows = cur.fetchall()
if not rows:
break
for r in rows:
print(r)
last_id = rows[-1][0]
cur.close()
conn.close()
</code>
如上所示,每次循环用上一批最大id进入下一页,直到没有数据。面对千万级SQL报表,主键游标分页是简单且高效的做法。