在PHP开发场景中,经常会遇到需要处理数十万甚至上百万条数据的大型数组的情况,比如批量处理用户数据、读取大文件内容到数组后做遍历操作等。传统的循环遍历方式会把整个数组完全加载到内存中,数据量过大时很容易触发内存限制错误,导致程序崩溃。

传统循环遍历大型数组的问题
我们先来看一段传统遍历大型数组的代码示例,模拟生成10万条用户数据并遍历输出手机号:
<?php
// 生成10万条模拟用户数据
function generate_large_array() {
$large_array = [];
for ($i = 0; $i < 100000; $i++) {
$large_array[] = [
'id' => $i,
'name' => '用户' . $i,
'phone' => '138' . str_pad($i, 8, '0', STR_PAD_LEFT)
];
}
return $large_array;
}
// 传统方式遍历
$users = generate_large_array();
foreach ($users as $user) {
echo $user['phone'] . PHP_EOL;
}
?>
这段代码会先调用generate_large_array函数,把10万条数据全部存到$users数组中,然后才做遍历。此时整个数组会占用大量内存,我们可以通过memory_get_usage函数查看内存占用情况:
<?php
function generate_large_array() {
$large_array = [];
for ($i = 0; $i < 100000; $i++) {
$large_array[] = [
'id' => $i,
'name' => '用户' . $i,
'phone' => '138' . str_pad($i, 8, '0', STR_PAD_LEFT)
];
}
return $large_array;
}
echo "生成数组前内存:" . memory_get_usage() . " bytes" . PHP_EOL;
$users = generate_large_array();
echo "生成数组后内存:" . memory_get_usage() . " bytes" . PHP_EOL;
foreach ($users as $user) {
// 仅遍历不做其他操作
}
echo "遍历完成后内存:" . memory_get_usage() . " bytes" . PHP_EOL;
?>
运行后会发现生成10万条数据后,内存占用会达到十几MB,如果数据量再提升到100万条,很可能会超过PHP默认的内存限制128MB,直接抛出致命错误。
yield生成器的工作原理
yield是PHP5.5引入的生成器语法,它的核心特点是不会一次性把所有数据生成好存到内存中,而是在每次迭代的时候才生成当前需要的数据,迭代完成后自动释放当前数据的资源。
我们把上面的生成数组的函数改成生成器版本:
<?php
// 生成器方式生成数据
function generate_large_array_by_yield() {
for ($i = 0; $i < 100000; $i++) {
yield [
'id' => $i,
'name' => '用户' . $i,
'phone' => '138' . str_pad($i, 8, '0', STR_PAD_LEFT)
];
}
}
?>
这里的generate_large_array_by_yield函数没有返回数组,而是每次循环用yield返回一条数据。调用这个函数的时候,它不会立刻执行函数体里的代码,而是返回一个生成器对象,只有在对这个对象做迭代(比如用foreach遍历)的时候,才会每次执行到yield的位置,返回一条数据,然后暂停,等待下一次迭代再继续执行。
yield生成器是否真的节省内存
我们用同样的方式测试生成器版本的内存占用:
<?php
function generate_large_array_by_yield() {
for ($i = 0; $i < 100000; $i++) {
yield [
'id' => $i,
'name' => '用户' . $i,
'phone' => '138' . str_pad($i, 8, '0', STR_PAD_LEFT)
];
}
}
echo "调用生成器前内存:" . memory_get_usage() . " bytes" . PHP_EOL;
$generator = generate_large_array_by_yield();
echo "获取生成器对象后内存:" . memory_get_usage() . " bytes" . PHP_EOL;
foreach ($generator as $user) {
// 仅遍历不做其他操作
}
echo "遍历完成后内存:" . memory_get_usage() . " bytes" . PHP_EOL;
?>
运行后会发现,获取生成器对象的时候内存几乎没有明显增长,遍历过程中内存占用也一直保持在很低的水平,和传统的数组方式相比,内存占用差距非常明显。这是因为生成器每次只保留当前迭代的那一条数据在内存中,不会把10万条数据全部存下来,自然就节省了大量内存。
其他优化PHP遍历大型数组的技巧
除了使用yield生成器之外,还有几个实用的优化技巧可以提升遍历效率:
- 减少不必要的数组拷贝:遍历数组的时候尽量避免使用
array_map、array_filter这类会返回新数组的函数,如果不需要保留处理结果,直接用foreach遍历原始数组即可,减少内存开销。 - 及时释放无用变量:如果遍历过程中用不到某个大数组了,可以用
unset函数及时释放它,比如unset($large_array),让内存可以尽快被回收。 - 使用引用遍历修改数组:如果需要修改数组的元素,可以用
foreach ($arr as &$value)的引用方式,避免PHP自动拷贝数组的写时复制机制带来的额外内存占用。 - 分批次处理数据:如果数据是从数据库查询出来的,不要一次性查询所有数据,而是用
LIMIT分批次查询,每次处理一批数据,处理完再查下一批,避免一次性加载过多数据到内存。
使用yield生成器的注意事项
虽然yield生成器能节省内存,但也不是所有场景都适用:
- 生成器返回的对象只能遍历一次,遍历完之后就不能再用了,如果需要多次使用数据,还是要存到数组中。
- 生成器不能直接使用数组相关的函数,比如
count、array_merge等,如果需要获取生成器产生的数据总量,只能自己遍历计数。 - 如果遍历过程中需要对所有数据做排序、去重等操作,生成器就不太适合,因为这类操作需要所有数据都在内存中才能完成。
总结来说,当我们需要遍历大型数组且不需要保留所有数据在内存中时,使用yield生成器确实能大幅节省内存,避免内存溢出问题,是处理大型数据集的非常实用的优化手段。