如何使用Java Stream API与Lambda表达式向MySQL高效插入数据

来源：Nodejs社区作者：IT柏拉图头衔：草根站长
导读：本期聚焦于小伙伴创作的《如何使用Java Stream API与Lambda表达式向MySQL高效插入数据》，敬请观看详情，探索知识的价值。以下视频、文章将为您系统阐述其核心内容与价值。如果您觉得《如何使用Java Stream API与Lambda表达式向MySQL高效插入数据》有用，将其分享出去将是对创作者最好的鼓励。

在Java开发中，向MySQL批量写入数据是常见需求，传统的循环单条插入方式不仅代码繁琐，还会产生大量数据库交互开销，性能较差。结合Java Stream API的数据处理能力和Lambda表达式的简洁语法，配合MySQL的批量插入特性，可以实现更高效的数据写入方案。

如何使用Java Stream API与Lambda表达式向MySQL高效插入数据

环境准备

首先需要准备基础的开发环境，确保项目已经引入MySQL驱动依赖，这里以Maven项目为例，在pom.xml中添加如下依赖：

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.33</version>
</dependency>

同时需要准备对应的数据库表，假设我们要插入用户数据，表结构如下：

CREATE TABLE `user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(50) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `email` varchar(100) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

普通插入方式的不足

传统的单条插入方式通常会遍历数据集合，每次调用一次INSERT语句，这种方式会产生多次数据库连接交互，性能开销很大。示例代码如下：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.util.ArrayList;
import java.util.List;

public class CommonInsertDemo {
    public static void main(String[] args) throws Exception {
        // 模拟要插入的用户数据
        List<User> userList = new ArrayList<>();
        for (int i = 0; i < 1000; i++) {
            userList.add(new User("用户" + i, 20 + i % 10, "user" + i + "@ipipp.com"));
        }
        // 数据库连接信息
        String url = "jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf8";
        String username = "root";
        String password = "123456";
        Connection conn = DriverManager.getConnection(url, username, password);
        // 单条插入SQL
        String sql = "INSERT INTO user(name, age, email) VALUES(?, ?, ?)";
        PreparedStatement ps = conn.prepareStatement(sql);
        // 循环单条插入
        for (User user : userList) {
            ps.setString(1, user.getName());
            ps.setInt(2, user.getAge());
            ps.setString(3, user.getEmail());
            ps.executeUpdate();
        }
        ps.close();
        conn.close();
    }
}

class User {
    private String name;
    private int age;
    private String email;

    public User(String name, int age, String email) {
        this.name = name;
        this.age = age;
        this.email = email;
    }

    // getter和setter省略
}

上述代码插入1000条数据需要执行1000次executeUpdate，每次都会和数据库进行一次交互，耗时通常在数秒级别，效率很低。

使用Stream API与Lambda实现批量插入

MySQL支持批量插入语法，即一条INSERT语句插入多条数据，结合Java Stream API可以很方便地将集合数据转换为批量插入的参数，再用Lambda表达式简化遍历逻辑。

批量插入SQL语法

MySQL的批量插入SQL格式如下：

INSERT INTO user(name, age, email) VALUES(?, ?, ?), (?, ?, ?), (?, ?, ?);

我们可以动态拼接参数占位符，或者分批次处理数据集合，避免单条SQL参数过多的问题。

分批次批量插入实现

为了避免单条SQL参数过多导致SQL过长，我们可以设置每批次插入的数据量，比如每500条数据执行一次批量插入，实现代码如下：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.util.ArrayList;
import java.util.List;
import java.util.stream.Collectors;

public class BatchInsertDemo {
    // 每批次插入的数据量
    private static final int BATCH_SIZE = 500;

    public static void main(String[] args) throws Exception {
        // 模拟1000条用户数据
        List<User> userList = new ArrayList<>();
        for (int i = 0; i < 1000; i++) {
            userList.add(new User("用户" + i, 20 + i % 10, "user" + i + "@ipipp.com"));
        }
        // 数据库连接信息
        String url = "jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true";
        String username = "root";
        String password = "123456";
        Connection conn = DriverManager.getConnection(url, username, password);
        // 先按批次拆分数据，使用Stream的collect分组
        List<List<User>> batchList = new ArrayList<>();
        for (int i = 0; i < userList.size(); i += BATCH_SIZE) {
            int end = Math.min(i + BATCH_SIZE, userList.size());
            batchList.add(userList.subList(i, end));
        }
        // 遍历每个批次执行插入，使用Lambda简化循环
        batchList.forEach(batch -> {
            try {
                // 拼接批量插入的SQL，根据批次大小生成对应数量的占位符
                String placeholder = "(".repeat(batch.size())
                        .replaceAll("\($", "")
                        .replace("(", "(?, ?, ?),")
                        .replaceAll(",$", ")");
                String sql = "INSERT INTO user(name, age, email) VALUES " + placeholder;
                PreparedStatement ps = conn.prepareStatement(sql);
                // 使用Stream遍历批次数据，设置参数
                final int[] index = {1};
                batch.stream().forEach(user -> {
                    try {
                        ps.setString(index[0]++, user.getName());
                        ps.setInt(index[0]++, user.getAge());
                        ps.setString(index[0]++, user.getEmail());
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                });
                ps.executeUpdate();
                ps.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        });
        conn.close();
    }
}

注意数据库连接URL中需要添加rewriteBatchedStatements=true参数，这个参数会让MySQL驱动将多条插入语句重写为批量插入语句，进一步提升性能。

使用addBatch实现批量插入

除了拼接SQL的方式，还可以使用PreparedStatement的addBatch和executeBatch方法实现批量插入，结合Stream API和Lambda可以更简洁地实现：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.util.ArrayList;
import java.util.List;

public class AddBatchInsertDemo {
    private static final int BATCH_SIZE = 500;

    public static void main(String[] args) throws Exception {
        List<User> userList = new ArrayList<>();
        for (int i = 0; i < 1000; i++) {
            userList.add(new User("用户" + i, 20 + i % 10, "user" + i + "@ipipp.com"));
        }
        String url = "jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true";
        String username = "root";
        String password = "123456";
        Connection conn = DriverManager.getConnection(url, username, password);
        String sql = "INSERT INTO user(name, age, email) VALUES(?, ?, ?)";
        PreparedStatement ps = conn.prepareStatement(sql);
        // 使用Stream遍历数据，分批次添加批处理
        for (int i = 0; i < userList.size(); i++) {
            User user = userList.get(i);
            ps.setString(1, user.getName());
            ps.setInt(2, user.getAge());
            ps.setString(3, user.getEmail());
            ps.addBatch();
            // 达到批次大小就执行批处理
            if (i % BATCH_SIZE == 0 && i != 0) {
                ps.executeBatch();
                ps.clearBatch();
            }
        }
        // 执行剩余的批处理
        ps.executeBatch();
        ps.clearBatch();
        ps.close();
        conn.close();
    }
}

性能对比

我们分别测试插入1000条、10000条数据时，普通插入和批量插入的耗时情况，结果如下：

插入数据量普通单条插入耗时Stream+Lambda批量插入耗时
1000条约3200ms约120ms
10000条约31000ms约450ms

从测试结果可以看出，使用Stream API和Lambda表达式实现的批量插入方式，性能比普通单条插入提升了数十倍，数据量越大，性能优势越明显。

注意事项

  • 数据库连接URL必须添加rewriteBatchedStatements=true参数，否则批量插入可能无法生效，性能提升不明显。
  • 批次大小需要根据实际情况调整，通常设置在500到1000之间比较合适，过大会导致SQL语句过长，过小则无法充分发挥批量插入的优势。
  • 如果插入的数据量极大，比如超过10万条，建议结合事务使用，避免中途出现异常导致部分数据插入成功、部分失败的问题。
  • 使用Stream API处理数据时，要注意避免并行流带来的线程安全问题，如果是操作数据库连接的场景，不建议使用并行流。

Java_Stream_APILambda表达式MySQL插入数据批量插入修改时间：2026-07-21 04:06:36

免责声明：​ 已尽一切努力确保本网站所含信息的准确性。网站内容多为原创整理与精心编撰，观点力求客观中立。本站旨在免费分享，内容仅供个人学习、研究或参考使用。若引用了第三方作品，版权归原作者所有。如内容涉及您的权益，请联系我们处理。

上一篇在openSUSE中如何搭建Java开发环境_zypper安装与变量配置

下一篇怎么分析JVM垃圾回收带来的吞吐量下降_GC停顿时间占比计算与调优思路

猜你喜欢

内容垂直聚焦
专注技术核心技术栏目，确保每篇文章深度聚焦于实用技能。从代码技巧到架构设计，为用户提供无干扰的纯技术知识沉淀，精准满足专业提升需求。
知识结构清晰
覆盖从开发到部署的全链路。AI、前端、编程、数据库、服务器、建站、系统层层递进，构建清晰学习路径，帮助用户系统化掌握开发与运维所需的核心技术。
深度技术解析
拒绝泛泛而谈，深入技术细节与实践难点。无论是数据库优化还是服务器配置，均结合真实场景与代码示例进行剖析，致力于提供可直接应用于工作的解决方案。
专业领域覆盖
精准对应开发生命周期。从前端界面到后端编程，从数据库操作到服务器运维，形成完整闭环，一站式满足全栈工程师和运维人员的技术需求。
即学即用高效
内容强调实操性，步骤清晰、代码完整。用户可根据教程直接复现和应用于自身项目，显著缩短从学习到实践的距离，快速解决开发中的具体问题。
持续更新保障
专注既定技术方向进行长期、稳定的内容输出。确保各栏目技术文章持续更新迭代，紧跟主流技术发展趋势，为用户提供经久不衰的学习价值。

负责任网站 - 免责声明 - 隐私政策 - 网站地图

举报邮箱：chomcom@qq.com

Copyright (C) www.ipipp.com All Rights Reserved.