在后台开发中，使用PHP处理千万级别的数据行是一项极具挑战性的任务。受限于PHP单线程的运行机制与内存限制，若采用传统的数据全量加载模式，极易触发内存溢出（Fatal Error: Allowed memory size exhausted）或执行超时。要高效处理千万行级别的数据，核心架构思想必须从“全量加载”转变为“流式处理”与“分治策略”。本文将系统性地阐述在PHP中稳定、高效处理海量数据的最佳实践。
一、 读取大文件：生成器实现流式迭代避免内存溢出
处理千万行数据最常见的数据源是大型CSV或日志文件。若直接使用file_get_contents或file函数，PHP会将整个文件内容载入内存，GB级别的文件会瞬间耗尽系统资源。标准做法是结合fopen与生成器（Generator）。
生成器提供了一种更简易的方法来实现简单的迭代器，它允许在遍历数据结构时仅将当前行保留在内存中，处理完毕后即可被垃圾回收机制回收，从而实现内存消耗的恒定。
function getLines($filePath) {
$handle = fopen($filePath, 'r');
if (!$handle) {
throw new Exception('无法打开文件');
}
while (($line = fgets($handle)) !== false) {
yield $line;
}
fclose($handle);
}
foreach (getLines('huge_data.csv') as $line) {
$data = str_getcsv($line);
// 业务处理逻辑
}二、 数据库查询：游标模式与主键分块查询
从数据库读取海量数据时，绝不可使用fetchAll将结果集一次性拉入PHP内存。应依据场景选用PDO游标模式或主键分块查询。
1. 使用PDO无缓冲查询（游标模式）
无缓冲查询会让MySQL服务端保持结果集，PHP端每次只拉取一行数据至网络缓冲区，极大降低了PHP端的内存占用。
$pdo = new PDO('mysql:host=127.0.0.1;dbname=test', 'user', 'pass');
$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$stmt = $pdo->query('SELECT * FROM huge_table');
while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
// 逐行处理，内存占用恒定
processRow($row);
}2. 主键分块查询
在复杂的业务逻辑中，长事务与游标可能导致数据库锁表或连接超时。更安全的方式是根据自增ID进行范围分块查询，该方案天然支持断点续传，且对数据库冲击极小。
$lastId = 0;
$limit = 1000;
while (true) {
$stmt = $pdo->prepare('SELECT * FROM huge_table WHERE id > :id ORDER BY id ASC LIMIT :limit');
$stmt->bindValue(':id', $lastId, PDO::PARAM_INT);
$stmt->bindValue(':limit', $limit, PDO::PARAM_INT);
$stmt->execute();
$rows = $stmt->fetchAll(PDO::FETCH_ASSOC);
if (empty($rows)) {
break;
}
foreach ($rows as $row) {
processRow($row);
}
$lastId = end($rows)['id'];
}三、 数据写入：批量拼接与分批提交
千万行数据的写入，若逐条执行INSERT语句，频繁的网络I/O与事务提交开销将是灾难性的。必须采用批量拼接SQL与分批事务提交相结合的策略。
$batchSize = 1000;
$count = 0;
$values = [];
$placeholders = [];
$pdo->beginTransaction();
foreach ($dataGenerator as $item) {
$placeholders[] = '(?, ?, ?)';
array_push($values, $item['col1'], $item['col2'], $item['col3']);
$count++;
if ($count % $batchSize === 0) {
$sql = 'INSERT INTO target_table (col1, col2, col3) VALUES ' . implode(',', $placeholders);
$pdo->prepare($sql)->execute($values);
$pdo->commit();
$pdo->beginTransaction();
$values = [];
$placeholders = [];
}
}
if (!empty($placeholders)) {
$sql = 'INSERT INTO target_table (col1, col2, col3) VALUES ' . implode(',', $placeholders);
$pdo->prepare($sql)->execute($values);
}
$pdo->commit();四、 运行环境与架构升维
1. 命令行模式（CLI）运行：处理千万级数据绝不能通过Web浏览器触发。必须使用PHP CLI执行脚本，彻底规避Web服务器的超时限制。
2. 取消执行时间限制：在脚本入口处通过set_time_limit(0)解除PHP自身的执行时间约束。
3. 垃圾回收优化：流式处理虽已大幅降低内存占用，但在长周期循环中若产生闭包或临时对象，建议适时调用gc_collect_cycles()主动回收内存碎片。
4. 架构水平扩展：若单机处理耗时仍无法满足业务需求，应将数据分片后投入消息队列（如RabbitMQ、Kafka），由多台服务器上的PHP消费者并行处理，利用分布式计算将耗时从小时级降至分钟级。
处理海量数据没有绝对的银弹，核心原则即“化整为零”。坚持文件逐行读取、游标或分页查询、批量事务写入及CLI环境运行，PHP完全可以胜任千万行级别的数据处理挑战。