导读:本期聚焦于小伙伴创作的《C#如何处理大数据量分页?游标分页和Keyset Pagination教程详解》,敬请观看详情,探索知识的价值。以下视频、文章将为您系统阐述其核心内容与价值。如果您觉得《C#如何处理大数据量分页?游标分页和Keyset Pagination教程详解》有用,将其分享出去将是对创作者最好的鼓励。

在C#开发的后端系统中,当数据表记录数达到百万甚至千万级别时,传统的基于offset的分页方式会出现严重的性能问题,因为offset需要跳过前面所有不符合条件的记录,页码越大查询耗时越长。游标分页和Keyset Pagination是两种针对大数据量场景设计的高效分页方案,能够避免offset的性能缺陷。

C#如何处理大数据量分页?游标分页和Keyset Pagination教程详解

传统offset分页的性能问题

传统分页通常通过SKIPTAKE实现,示例代码如下:

// 传统offset分页示例,pageIndex为页码,pageSize为每页条数
int pageIndex = 10;
int pageSize = 20;
var data = dbContext.Users
    .OrderBy(u => u.Id)
    .Skip((pageIndex - 1) * pageSize)
    .Take(pageSize)
    .ToList();

当pageIndex为1000时,SKIP需要跳过前19980条记录,数据库需要扫描并丢弃这些记录,随着页码增大,查询效率会呈线性下降。

Keyset Pagination实现原理与C#示例

Keyset Pagination基于有序的唯一键作为分页条件,每次查询都以上一页最后一条记录的有序键作为起点,避免扫描前面的数据。要求分页的排序字段必须是唯一且有序的,通常选择自增主键或者带唯一约束的时间戳字段。

基本实现步骤

  • 首次查询获取第一页数据,同时记录最后一行的排序键值
  • 后续查询使用WHERE条件过滤出键值大于上一页最后键值的数据,再取指定条数
  • 循环执行直到没有更多数据

C#代码示例

假设使用自增主键Id作为排序字段,实现Keyset Pagination:

// 存储上一页最后一条记录的Id,首次查询时为0
int lastId = 0;
int pageSize = 20;
// 是否还有更多数据
bool hasMore = true;

while (hasMore)
{
    var pageData = dbContext.Users
        .Where(u => u.Id > lastId) // 基于上一页最后Id过滤
        .OrderBy(u => u.Id)
        .Take(pageSize)
        .ToList();
    
    if (pageData.Any())
    {
        // 处理当前页数据
        Console.WriteLine($"当前页数据条数:{pageData.Count}");
        // 更新lastId为当前页最后一条记录的Id
        lastId = pageData.Last().Id;
        hasMore = pageData.Count == pageSize;
    }
    else
    {
        hasMore = false;
    }
}

这种方式的查询复杂度是O(log n),不需要扫描前面的记录,即使数据量再大,分页性能也保持稳定。

游标分页的实现与C#示例

游标分页和Keyset Pagination核心思想一致,通常会将分页状态封装为游标(Cursor)返回给前端,前端下次请求时携带游标即可获取下一页数据,适合前后端分离的场景。

游标设计

游标可以是对有序键值的加密字符串,避免直接暴露数据库字段信息,也可以直接使用有序键值,根据业务安全性要求选择。

C#实现示例

// 定义分页请求参数
public class CursorPageRequest
{
    // 上一页返回的游标,首次请求为null
    public string Cursor { get; set; }
    public int PageSize { get; set; } = 20;
}

// 定义分页响应
public class CursorPageResponse<T>
{
    public List<T> Data { get; set; }
    // 下一页游标,null表示没有更多数据
    public string NextCursor { get; set; }
    public bool HasMore { get; set; }
}

// 游标分页查询方法
public CursorPageResponse<User> GetUsersByCursor(CursorPageRequest request)
{
    int pageSize = request.PageSize;
    IQueryable<User> query = dbContext.Users.OrderBy(u => u.CreateTime).ThenBy(u => u.Id);
    
    // 如果携带了游标,解析游标并添加过滤条件
    if (!string.IsNullOrEmpty(request.Cursor))
    {
        // 假设游标是CreateTime和Id的组合,这里简化为直接解析,实际可以做加密处理
        var cursorParts = request.Cursor.Split('_');
        DateTime cursorTime = DateTime.Parse(cursorParts[0]);
        int cursorId = int.Parse(cursorParts[1]);
        // 过滤出CreateTime大于游标时间,或者CreateTime相等但Id大于游标Id的记录
        query = query.Where(u => u.CreateTime > cursorTime || (u.CreateTime == cursorTime && u.Id > cursorId));
    }
    
    var pageData = query.Take(pageSize + 1).ToList(); // 多取一条判断是否有下一页
    bool hasMore = pageData.Count > pageSize;
    if (hasMore)
    {
        pageData = pageData.Take(pageSize).ToList();
    }
    
    string nextCursor = null;
    if (hasMore)
    {
        var lastItem = pageData.Last();
        // 生成下一页游标
        nextCursor = $"{lastItem.CreateTime:yyyy-MM-dd HH:mm:ss}_{lastItem.Id}";
    }
    
    return new CursorPageResponse<User>
    {
        Data = pageData,
        NextCursor = nextCursor,
        HasMore = hasMore
    };
}

两种分页方案对比

以下是两种方案和传统offset分页的对比:

分页方式性能表现是否支持跳页适用场景
offset分页页码越大性能越差支持小数据量、需要跳页的场景
Keyset Pagination稳定高效,不受页码影响不支持大数据量、顺序加载的场景
游标分页稳定高效,不受页码影响不支持大数据量、前后端分离、无限滚动的场景

注意事项

  • 使用Keyset Pagination和游标分页时,排序字段必须唯一,否则会出现数据重复或遗漏,如果有重复值需要添加辅助唯一字段到排序条件中
  • 游标如果包含敏感信息,需要做加密处理,避免前端篡改
  • 这两种分页方式都不支持直接跳转到指定页码,需要结合业务判断是否适用

C#游标分页Keyset_Pagination大数据量分页修改时间:2026-06-19 07:45:30

免责声明:​ 已尽一切努力确保本网站所含信息的准确性。网站内容多为原创整理与精心编撰,观点力求客观中立。本站旨在免费分享,内容仅供个人学习、研究或参考使用。若引用了第三方作品,版权归原作者所有。如内容涉及您的权益,请联系我们处理。
内容垂直聚焦
专注技术核心技术栏目,确保每篇文章深度聚焦于实用技能。从代码技巧到架构设计,为用户提供无干扰的纯技术知识沉淀,精准满足专业提升需求。
知识结构清晰
覆盖从开发到部署的全链路。AI、前端、编程、数据库、服务器、建站、系统层层递进,构建清晰学习路径,帮助用户系统化掌握开发与运维所需的核心技术。
深度技术解析
拒绝泛泛而谈,深入技术细节与实践难点。无论是数据库优化还是服务器配置,均结合真实场景与代码示例进行剖析,致力于提供可直接应用于工作的解决方案。
专业领域覆盖
精准对应开发生命周期。从前端界面到后端编程,从数据库操作到服务器运维,形成完整闭环,一站式满足全栈工程师和运维人员的技术需求。
即学即用高效
内容强调实操性,步骤清晰、代码完整。用户可根据教程直接复现和应用于自身项目,显著缩短从学习到实践的距离,快速解决开发中的具体问题。
持续更新保障
专注既定技术方向进行长期、稳定的内容输出。确保各栏目技术文章持续更新迭代,紧跟主流技术发展趋势,为用户提供经久不衰的学习价值。