在数据库日常维护与数据迁移场景中，将源表的BLOB字段批量复制到目标表是常见需求，BLOB字段通常存储大文件类数据，直接全量加载到内存容易引发内存溢出，采用流式读写处理可以逐段读取和写入数据，大幅降低内存占用，保障操作稳定性。
不同数据库的流式复制实现方式
MySQL数据库实现
MySQL中可以通过SELECT ... INTO DUMPFILE结合LOAD_FILE实现流式读写，也可以通过程序层配合SQL完成操作，以下是Java程序结合JDBC流式读写的示例：
import java.io.*;
import java.sql.*;
public class BlobStreamCopy {
public static void main(String[] args) {
String url = "jdbc:mysql://127.0.0.1:3306/test_db?useUnicode=true&characterEncoding=utf8";
String user = "root";
String password = "123456";
Connection conn = null;
PreparedStatement selectPst = null;
PreparedStatement insertPst = null;
ResultSet rs = null;
try {
conn = DriverManager.getConnection(url, user, password);
// 关闭自动提交，提升批量操作效率
conn.setAutoCommit(false);
// 流式查询，避免一次性加载所有结果到内存
selectPst = conn.prepareStatement("SELECT id, blob_content FROM source_table",
ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
selectPst.setFetchSize(Integer.MIN_VALUE);
rs = selectPst.executeQuery();
insertPst = conn.prepareStatement("INSERT INTO target_table (id, blob_content) VALUES (?, ?)");
byte[] buffer = new byte[1024 * 1024]; // 1MB缓冲区
while (rs.next()) {
int id = rs.getInt("id");
Blob blob = rs.getBlob("blob_content");
if (blob == null) {
insertPst.setInt(1, id);
insertPst.setNull(2, java.sql.Types.BLOB);
} else {
InputStream is = blob.getBinaryStream();
insertPst.setInt(1, id);
// 流式设置参数，避免将整个BLOB加载到内存
insertPst.setBinaryStream(2, is, blob.length());
is.close();
}
insertPst.addBatch();
// 每100条执行一次批量提交
if (rs.getRow() % 100 == 0) {
insertPst.executeBatch();
conn.commit();
}
}
insertPst.executeBatch();
conn.commit();
System.out.println("BLOB字段批量复制完成");
} catch (Exception e) {
e.printStackTrace();
if (conn != null) {
try {
conn.rollback();
} catch (SQLException ex) {
ex.printStackTrace();
}
}
} finally {
// 关闭资源
try {
if (rs != null) rs.close();
if (selectPst != null) selectPst.close();
if (insertPst != null) insertPst.close();
if (conn != null) conn.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
}
}
Oracle数据库实现
Oracle中可以使用PL/SQL结合DBMS_LOB包实现BLOB字段的流式复制，以下是存储过程示例：
CREATE OR REPLACE PROCEDURE copy_blob_stream IS
v_source_blob BLOB;
v_target_blob BLOB;
v_buffer RAW(32767); -- 32KB缓冲区
v_amount BINARY_INTEGER := 32767;
v_offset NUMBER := 1;
v_blob_id NUMBER;
CURSOR c_source IS SELECT id, blob_content FROM source_table;
BEGIN
FOR rec IN c_source LOOP
-- 获取源BLOB
SELECT blob_content INTO v_source_blob FROM source_table WHERE id = rec.id;
-- 初始化目标BLOB
INSERT INTO target_table (id, blob_content) VALUES (rec.id, EMPTY_BLOB()) RETURNING blob_content INTO v_target_blob;
-- 流式复制BLOB内容
LOOP
DBMS_LOB.READ(v_source_blob, v_amount, v_offset, v_buffer);
DBMS_LOB.WRITE(v_target_blob, v_amount, v_offset, v_buffer);
v_offset := v_offset + v_amount;
EXIT WHEN v_amount < 32767;
END LOOP;
COMMIT;
END LOOP;
DBMS_OUTPUT.PUT_LINE('BLOB字段批量复制完成');
END copy_blob_stream;
/
操作注意事项
- 操作前确认源表和目标表的BLOB字段类型、长度完全一致，避免写入失败。
- 流式读写时需要合理设置缓冲区大小，过小会导致读写次数过多影响效率，过大则失去流式处理的优势，通常建议设置为1MB到4MB之间。
- 批量操作时建议分批次提交事务，避免单事务过大导致数据库日志膨胀，同时可以在操作失败时减少回滚成本。
- 操作前做好数据备份，避免误操作导致源表数据丢失。
常见问题解答
为什么不能直接用INSERT INTO ... SELECT复制BLOB字段
普通INSERT INTO ... SELECT语句会将整个BLOB字段一次性加载到内存，当BLOB数据量较大或者数据条数较多时，很容易导致内存溢出，而流式读写是逐段处理数据，内存占用稳定。
复制后目标表BLOB字段内容损坏怎么办
首先检查读写过程中是否有异常中断，其次确认缓冲区大小设置是否合理，另外需要确认源表的BLOB字段本身是否完整，可通过单独读取单条数据验证源数据可用性。