导读:本期聚焦于小伙伴创作的《SQL报表如何处理千万级数据分页?主键游标分页真的比传统分页快吗》,敬请观看详情,探索知识的价值。以下视频、文章将为您系统阐述其核心内容与价值。如果您觉得《SQL报表如何处理千万级数据分页?主键游标分页真的比传统分页快吗》有用,将其分享出去将是对创作者最好的鼓励。

在千万级数据的SQL报表场景中,分页查询是绕不开的需求。当表数据量变大,传统limit配合偏移量的写法在翻到后面几页时响应会明显变慢,而主键游标分页依靠有序主键连续取值,能稳定保持查询效率。理解两者的底层差异,才能选对方案。

SQL报表如何处理千万级数据分页?主键游标分页真的比传统分页快吗

传统分页的问题在哪里

常见的报表分页语句如下,通过limit和偏移量获取某一页:

-- 获取第100001到100020条记录
select id, user_name, amount, create_time
from report_order
order by id asc
limit 100000, 20;
</code>

数据库在执行时,必须先排序再向后扫描并丢弃前100000行,只返回最后20行。数据量越大、翻页越深,丢弃的行数越多,CPU和IO消耗越严重。

主键游标分页怎么写

如果表主键id是自增且连续的,可以用上一页最大id作为游标:

-- 已知上一页最大id为100000,取下一页
select id, user_name, amount, create_time
from report_order
where id > 100000
order by id asc
limit 20;
</code>

这条语句利用主键索引直接定位,不需要跳过历史数据,扫描行数恒定为页大小。

两种方案对比

分页方式深翻页性能是否依赖排序字段适用场景
传统limit分页随偏移量增大急剧下降小表或浅分页
主键游标分页稳定依赖有序主键大表顺序翻页

使用游标分页的注意点

  • 主键必须有序且查询按该主键排序,否则游标会漏数据。
  • 若业务允许删除数据导致主键不连续,游标分页依然可用,只是页内数量可能不足。
  • 不支持任意跳页,只能上一页下一页,报表导出通常满足。

在代码中封装游标查询

下面用Python简单演示游标翻页读取报表:

import pymysql

conn = pymysql.connect(host='127.0.0.1', user='root', password='test', db='report')
cur = conn.cursor()
last_id = 0
page_size = 1000
while True:
    cur.execute(
        "select id, user_name, amount from report_order where id > %s order by id asc limit %s",
        (last_id, page_size)
    )
    rows = cur.fetchall()
    if not rows:
        break
    for r in rows:
        print(r)
    last_id = rows[-1][0]
cur.close()
conn.close()
</code>

如上所示,每次循环用上一批最大id进入下一页,直到没有数据。面对千万级SQL报表,主键游标分页是简单且高效的做法。

SQL报表千万级数据主键游标分页传统分页查询优化修改时间:2026-07-25 02:03:18

免责声明:​ 已尽一切努力确保本网站所含信息的准确性。网站内容多为原创整理与精心编撰,观点力求客观中立。本站旨在免费分享,内容仅供个人学习、研究或参考使用。若引用了第三方作品,版权归原作者所有。如内容涉及您的权益,请联系我们处理。
内容垂直聚焦
专注技术核心技术栏目,确保每篇文章深度聚焦于实用技能。从代码技巧到架构设计,为用户提供无干扰的纯技术知识沉淀,精准满足专业提升需求。
知识结构清晰
覆盖从开发到部署的全链路。AI、前端、编程、数据库、服务器、建站、系统层层递进,构建清晰学习路径,帮助用户系统化掌握开发与运维所需的核心技术。
深度技术解析
拒绝泛泛而谈,深入技术细节与实践难点。无论是数据库优化还是服务器配置,均结合真实场景与代码示例进行剖析,致力于提供可直接应用于工作的解决方案。
专业领域覆盖
精准对应开发生命周期。从前端界面到后端编程,从数据库操作到服务器运维,形成完整闭环,一站式满足全栈工程师和运维人员的技术需求。
即学即用高效
内容强调实操性,步骤清晰、代码完整。用户可根据教程直接复现和应用于自身项目,显著缩短从学习到实践的距离,快速解决开发中的具体问题。
持续更新保障
专注既定技术方向进行长期、稳定的内容输出。确保各栏目技术文章持续更新迭代,紧跟主流技术发展趋势,为用户提供经久不衰的学习价值。