在业务系统中，经常会有将大批量数据导出为Excel并提供下载的需求，当数据量达到数万甚至数十万条时，直接一次性查询导出很容易出现内存耗尽、脚本执行超时的问题，因此需要采用合理的策略分步处理。
核心处理思路
大批量数据导出Excel并打包下载的核心逻辑可以拆分为四个步骤：分批次查询数据、逐个生成Excel文件、压缩打包所有Excel文件、提供打包文件下载。每个步骤都需要做对应的优化，避免资源占用过高。
分批次查询数据
不要一次性查询全部数据，而是通过分页的方式每次查询固定条数的数据，比如每次查询1000条，循环查询直到所有数据都处理完成。以MySQL数据库为例，使用LIMIT分页查询的示例如下：
<?php
// 每次查询的数据条数
$pageSize = 1000;
// 当前页码
$page = 1;
// 总数据量，可先查询总数计算总页数，也可以循环查询直到无数据返回
$total = 0;
// 假设已经建立了数据库连接 $pdo
$sqlCount = "SELECT COUNT(*) as total FROM user_table WHERE status = 1";
$stmtCount = $pdo->query($sqlCount);
$total = $stmtCount->fetchColumn();
$totalPage = ceil($total / $pageSize);
while ($page <= $totalPage) {
$offset = ($page - 1) * $pageSize;
$sql = "SELECT id, name, age, email FROM user_table WHERE status = 1 LIMIT {$offset}, {$pageSize}";
$stmt = $pdo->query($sql);
$data = $stmt->fetchAll(PDO::FETCH_ASSOC);
// 处理当前批次的数据，生成对应的Excel文件
generateExcel($data, $page);
$page++;
// 释放变量，减少内存占用
unset($data);
}
?>生成Excel文件
生成Excel时建议使用轻量级的库，比如PHPExcel的简化版本或者专门处理大文件的库，避免加载过多冗余功能占用内存。这里以生成CSV格式的文件为例，CSV格式简单，生成速度快，占用内存小，适合大批量数据导出，如果需要xlsx格式可以替换为对应的轻量库。
<?php
function generateExcel($data, $page) {
// 定义文件存储目录，确保目录有写入权限
$dir = __DIR__ . '/excel_files/';
if (!is_dir($dir)) {
mkdir($dir, 0777, true);
}
// 文件名包含页码，避免重复
$fileName = $dir . "user_data_{$page}.csv";
$fp = fopen($fileName, 'w');
// 写入表头
fputcsv($fp, ['用户ID', '用户名', '年龄', '邮箱']);
// 写入数据行
foreach ($data as $row) {
fputcsv($fp, [$row['id'], $row['name'], $row['age'], $row['email']]);
}
fclose($fp);
return $fileName;
}
?>压缩打包文件
当所有批次的Excel文件都生成完成后，使用PHP的ZipArchive类将所有文件打包成一个zip压缩包，减少文件体积，方便用户下载。
<?php
function packageFiles() {
$dir = __DIR__ . '/excel_files/';
$zipName = __DIR__ . '/user_data_all.zip';
$zip = new ZipArchive();
if ($zip->open($zipName, ZipArchive::CREATE | ZipArchive::OVERWRITE) === true) {
// 遍历目录下的所有csv文件
$files = scandir($dir);
foreach ($files as $file) {
if ($file != '.' && $file != '..' && pathinfo($file, PATHINFO_EXTENSION) == 'csv') {
$filePath = $dir . $file;
// 将文件添加到压缩包，第二个参数是压缩包内的文件名
$zip->addFile($filePath, $file);
}
}
$zip->close();
// 打包完成后可以删除临时生成的csv文件，释放磁盘空间
foreach ($files as $file) {
if ($file != '.' && $file != '..' && pathinfo($file, PATHINFO_EXTENSION) == 'csv') {
unlink($dir . $file);
}
}
rmdir($dir);
return $zipName;
}
return false;
}
?>提供下载并清理资源
打包完成后，设置正确的HTTP响应头，将zip文件输出给用户，下载完成后删除服务器上的临时压缩包，避免占用磁盘空间。
<?php
function downloadAndClean($zipName) {
if (file_exists($zipName)) {
// 设置下载响应头
header('Content-Type: application/zip');
header('Content-Disposition: attachment; filename="' . basename($zipName) . '"');
header('Content-Length: ' . filesize($zipName));
// 输出文件内容
readfile($zipName);
// 删除压缩包
unlink($zipName);
exit;
} else {
echo '文件不存在';
}
}
// 执行完整流程
// 1. 分批次查询数据并生成Excel（前面已经通过循环处理）
// 2. 打包文件
$zipName = packageFiles();
// 3. 提供下载
if ($zipName) {
downloadAndClean($zipName);
}
?>注意事项
除了上述流程外，还需要注意几个问题：一是调整PHP的配置参数，比如max_execution_time可以适当设置大一些，或者通过set_time_limit(0)设置脚本不超时；二是memory_limit根据实际数据量调整，避免内存不足；三是如果数据量特别大，可以结合消息队列异步处理导出任务，用户提交导出请求后，后台慢慢处理，处理完成后通知用户下载，避免前端长时间等待。
| 优化点 | 说明 |
|---|---|
| 分批次查询 | 避免一次性加载全量数据到内存，减少内存占用 |
| 生成CSV格式 | 比xlsx格式更轻量，生成速度快，内存占用低 |
| 异步处理 | 数据量极大时避免脚本超时，提升用户体验 |
按照上述策略处理，就可以稳定地完成大批量数据导出为Excel并打包下载的需求，适配不同量级的数据场景。