在对接外部API获取全量业务数据时，大多数接口都会采用分页返回的机制，每次请求仅返回固定数量的数据，需要多次请求才能拿到完整结果。如果使用普通的循环处理，很容易因为分页参数传递错误、数据标识重复等问题，出现重复记录或者聚合结果偏差的情况，而PHP递归函数可以很好地适配这种逐页拉取的场景。
递归处理API分页的核心逻辑
递归处理分页的核心是要维护两个关键状态：当前请求的页码或者下一页的游标，以及已经拉取到的全量数据集合。每次递归调用时，先请求当前页的数据，判断当前页是否有数据，如果有则把数据合并到全量集合中，再判断是否还有下一页，如果有就递归调用自身请求下一页，直到没有更多数据为止。
基础递归函数结构示例
以下是一个通用的递归拉取分页数据的函数框架，假设API返回的数据结构包含当前页数据列表、是否有下一页的标识：
<?php
/**
* 递归拉取API分页数据
* @param int $page 当前请求的页码
* @param array $allData 已拉取的全量数据集合
* @return array 最终的全量数据
*/
function fetchApiPageData($page = 1, $allData = []) {
// 调用API获取当前页数据，这里模拟API请求返回的结果
$apiResponse = requestApi($page);
// 如果当前页没有数据，直接返回已收集的全量数据
if (empty($apiResponse['data'])) {
return $allData;
}
// 把当前页的数据合并到全量集合中
$allData = array_merge($allData, $apiResponse['data']);
// 判断是否有下一页，假设API返回has_more字段标识是否有更多数据
if ($apiResponse['has_more'] === true) {
// 递归请求下一页，页码加1
return fetchApiPageData($page + 1, $allData);
}
// 没有更多数据，返回全量集合
return $allData;
}
/**
* 模拟API请求函数
* @param int $page 请求的页码
* @return array API返回的结构
*/
function requestApi($page) {
// 实际场景中这里是调用curl或者guzzle发送HTTP请求获取API数据
// 模拟返回数据，第3页之后没有更多数据
$mockData = [
1 => ['data' => [['id' => 1], ['id' => 2]], 'has_more' => true],
2 => ['data' => [['id' => 3], ['id' => 4]], 'has_more' => true],
3 => ['data' => [['id' => 5]], 'has_more' => false],
];
return $mockData[$page] ?? ['data' => [], 'has_more' => false];
}
?>
避免重复记录的解决方案
重复记录的产生通常有两个原因：一是API本身的分页逻辑存在重叠，比如游标分页时游标计算错误导致前后两页包含相同数据；二是递归过程中数据合并时出现重复添加的情况。可以通过以下两种方式避免：
基于唯一标识去重
如果返回的数据有唯一的标识字段，比如id，可以在合并数据时先检查该标识是否已经存在于全量集合中，避免重复添加：
<?php
function fetchApiPageDataWithDedup($page = 1, $allData = [], $existIds = []) {
$apiResponse = requestApi($page);
if (empty($apiResponse['data'])) {
return $allData;
}
foreach ($apiResponse['data'] as $item) {
// 检查当前数据的id是否已经存在
if (!in_array($item['id'], $existIds)) {
$allData[] = $item;
$existIds[] = $item['id'];
}
}
if ($apiResponse['has_more'] === true) {
return fetchApiPageDataWithDedup($page + 1, $allData, $existIds);
}
return $allData;
}
?>
游标分页的正确处理
如果API使用的是游标分页而不是页码分页，需要把下一页的游标作为参数传递，避免因为数据新增删除导致的页码偏移问题：
<?php
function fetchApiByCursor($cursor = '', $allData = []) {
// 请求API时携带游标参数，首次请求游标为空
$apiResponse = requestCursorApi($cursor);
if (empty($apiResponse['data'])) {
return $allData;
}
$allData = array_merge($allData, $apiResponse['data']);
// 获取下一页的游标
$nextCursor = $apiResponse['next_cursor'] ?? '';
if (!empty($nextCursor)) {
return fetchApiByCursor($nextCursor, $allData);
}
return $allData;
}
/**
* 模拟游标分页的API请求
*/
function requestCursorApi($cursor) {
$mockData = [
'' => ['data' => [['id' => 1], ['id' => 2]], 'next_cursor' => 'cursor_1'],
'cursor_1' => ['data' => [['id' => 3], ['id' => 4]], 'next_cursor' => 'cursor_2'],
'cursor_2' => ['data' => [['id' => 5]], 'next_cursor' => ''],
];
return $mockData[$cursor] ?? ['data' => [], 'next_cursor' => ''];
}
?>
正确聚合数据的实现
聚合数据通常是对全量数据按照某个维度统计，比如统计每个分类的数量、求和某个字段的值等。正确的做法是在所有分页数据拉取完成之后再进行聚合，避免在递归过程中逐页聚合导致结果错误。
聚合数据示例
以下是拉取全量数据后按照分类聚合数量的示例：
<?php
// 先拉取全量去重后的数据
$allData = fetchApiPageDataWithDedup();
// 定义聚合结果数组
$aggregateResult = [];
foreach ($allData as $item) {
$category = $item['category'] ?? 'default';
// 初始化分类的计数
if (!isset($aggregateResult[$category])) {
$aggregateResult[$category] = 0;
}
// 计数加1
$aggregateResult[$category]++;
}
// 输出聚合结果
print_r($aggregateResult);
?>
注意事项
- 递归深度问题：如果API分页数量非常多，递归调用可能会导致PHP递归深度溢出，可以通过设置
ini_set('xdebug.max_nesting_level', 1000);调整最大递归深度，或者在数据量极大时改用循环加队列的方式实现。 - API请求限流：递归过程中会连续发送请求，需要注意API的限流规则，可以在每次请求后添加适当的休眠时间，比如
sleep(1);避免触发限流。 - 异常处理：实际场景中需要添加API请求失败的异常处理逻辑，比如请求超时、返回错误码时重试或者记录日志，避免递归过程中断导致数据拉取不完整。