Python的itertools模块是标准库中专门用于操作迭代器的工具集，它提供的函数可以高效处理迭代逻辑，避免一次性将所有数据加载到内存中。通过组合这些函数，我们可以实现迭代器的链式处理，让数据按照预设的流程逐步被处理，减少中间变量的创建，提升代码的简洁性和运行效率。
itertools模块核心链式处理函数
itertools中多个函数都支持迭代器的串联操作，以下是常用的几个核心函数：
- chain：将多个迭代器拼接成一个连续的迭代器，按顺序遍历所有传入的迭代器元素
- islice：对迭代器进行切片操作，获取指定范围的元素，避免加载全部数据
- filterfalse：过滤掉迭代器中不符合条件的元素，保留满足条件的元素
- map：对迭代器中的每个元素应用指定函数，返回处理后的新迭代器
基础链式处理示例
我们先通过一个简单的场景演示如何将多个迭代器操作串联起来：假设我们有两个列表，需要先拼接成一个序列，再过滤掉其中的偶数，最后取前5个元素。
import itertools # 定义两个原始列表 list1 = [1, 2, 3, 4, 5] list2 = [6, 7, 8, 9, 10] # 链式处理逻辑：拼接 -> 过滤偶数 -> 取前5个 # 1. 使用chain拼接两个列表的迭代器 chained_iter = itertools.chain(list1, list2) # 2. 使用filterfalse过滤偶数，保留奇数 filtered_iter = itertools.filterfalse(lambda x: x % 2 == 0, chained_iter) # 3. 使用islice取前5个元素 result_iter = itertools.islice(filtered_iter, 5) # 转换为列表输出结果 print(list(result_iter)) # 输出：[1, 3, 5, 7, 9]
复杂场景的链式处理实战
在实际开发中，我们经常会遇到需要处理多层嵌套数据或者需要多步转换的场景，下面演示一个处理用户数据的例子：假设我们有一组用户数据，需要先展平嵌套的用户组，再过滤掉未激活的用户，最后提取用户的姓名并转换为大写。
import itertools
# 模拟嵌套的用户组数据，每个子列表是一个用户组
user_groups = [
[{"name": "张三", "active": True}, {"name": "李四", "active": False}],
[{"name": "王五", "active": True}, {"name": "赵六", "active": False}],
[{"name": "钱七", "active": True}]
]
# 链式处理逻辑：展平嵌套结构 -> 过滤激活用户 -> 提取姓名转大写
# 1. 使用chain.from_iterable展平嵌套的用户组迭代器
flattened_users = itertools.chain.from_iterable(user_groups)
# 2. 过滤掉未激活的用户
active_users = filter(lambda user: user["active"], flattened_users)
# 3. 提取用户姓名并转换为大写
user_names = map(lambda user: user["name"].upper(), active_users)
# 输出结果
for name in user_names:
print(name)
# 输出：
# 张三
# 王五
# 钱七
链式处理的注意事项
在使用itertools进行迭代器链式处理时，需要注意以下几点：
- 迭代器是惰性计算的，只有当我们主动遍历结果迭代器时，前面的处理逻辑才会执行，这可以避免不必要的内存占用
- 大部分itertools函数返回的迭代器都是一次性的，遍历一次后就不能再次使用，如果需要重复使用结果，需要转换为列表等可重复遍历的结构
- 链式处理的函数组合顺序会影响最终的结果，需要根据业务逻辑合理排列处理步骤的顺序
常用链式处理组合参考
以下是几个常见的迭代器链式处理组合，可以直接根据场景调整使用：
| 场景 | 函数组合 | 说明 |
|---|---|---|
| 多序列合并去重 | chain -> dict.fromkeys -> 迭代 | 先拼接多个序列，再通过字典键去重，最后遍历去重后的结果 |
| 大文件分块读取 | iter -> islice -> 处理块 | 将文件对象转换为迭代器，按指定大小分块读取，逐块处理数据 |
| 数据分组统计 | chain -> sorted -> groupby | 先拼接数据，排序后使用groupby按指定字段分组统计 |