在Python数据分析的实际工作中，我们经常会遇到体积远超本地内存的大文件，直接一次性读取到内存中就会导致内存溢出，程序直接崩溃。这种情况在日志分析、用户行为数据统计等场景中非常常见。
为什么大文件会导致内存溢出
Python的pandas等数据分析工具默认会把读取到的数据全部加载到内存中，形成DataFrame对象。如果文件大小是10GB，而本地内存只有8GB，那么读取过程中就会耗尽内存，触发操作系统的内存保护机制，终止程序进程。因此处理大文件的核心思路就是避免一次性加载全量数据，采用分块读取的方式逐段处理。
使用pandas进行分块读取
pandas的read_csv、read_excel等读取函数都内置了分块参数chunksize，可以指定每次读取的行数，返回一个可迭代的分块对象，我们可以逐块处理数据后再释放内存。
基础分块读取示例
以下是读取大CSV文件，逐块统计某列平均值的示例：
import pandas as pd
# 指定每次读取10000行
chunk_size = 10000
# 分块读取文件，返回TextFileReader迭代器
chunk_iter = pd.read_csv("large_data.csv", chunksize=chunk_size)
total_sum = 0
total_count = 0
# 遍历每个分块
for chunk in chunk_iter:
# 处理当前分块，假设要统计score列的总和
chunk_sum = chunk["score"].sum()
chunk_count = chunk["score"].count()
total_sum += chunk_sum
total_count += chunk_count
# 当前分块处理完成后，内存会自动释放，不需要额外操作
# 计算整体平均值
final_avg = total_sum / total_count
print(f"score列的平均值为：{final_avg}")
分块过滤与合并
如果我们需要过滤出符合特定条件的行，再合并成最终结果，也可以逐块处理后再拼接：
import pandas as pd
chunk_size = 10000
chunk_iter = pd.read_csv("large_data.csv", chunksize=chunk_size)
# 存储所有符合条件的分块
valid_chunks = []
for chunk in chunk_iter:
# 过滤出score大于60的行
filtered_chunk = chunk[chunk["score"] > 60]
if not filtered_chunk.empty:
valid_chunks.append(filtered_chunk)
# 合并所有分块
result_df = pd.concat(valid_chunks, ignore_index=True)
print(f"符合条件的记录共有{len(result_df)}条")
使用dask处理超大文件
如果文件体积特别大，或者需要更复杂的分布式计算逻辑，可以使用dask库，它是专门为大数据处理设计的Python库，兼容pandas的API，支持延迟计算和分块处理。
以下是用dask读取大文件并计算的示例：
import dask.dataframe as dd
# 读取大文件，dask不会立即加载数据到内存
dask_df = dd.read_csv("large_data.csv")
# 执行计算，dask会自动分块处理
avg_score = dask_df["score"].mean().compute()
print(f"score列的平均值为：{avg_score}")
分块处理的注意事项
- 分块大小需要根据本地内存情况调整，一般建议单次分块大小不超过可用内存的1/4，避免处理过程中内存溢出。
- 如果分块后需要做全局排序、全局去重等操作，需要额外处理，因为单个分块内的排序去重无法覆盖全量数据。
- 处理完每个分块后，尽量及时删除不需要的中间变量，主动释放内存，避免内存累积。
分块处理是Python数据分析中应对大文件内存溢出的最常用方案，选择合适的分块大小和工具，就能在有限内存下完成各类大文件分析任务。