Python处理大文件时，常规的文件读取方式需要将文件内容从磁盘拷贝到内核缓冲区，再拷贝到用户空间缓冲区，两次拷贝会消耗大量时间和内存。mmap模块通过内存映射技术，把文件直接映射到进程的虚拟地址空间，实现零拷贝访问，大幅提升大文件读取效率。
mmap模块核心原理
内存映射的本质是建立文件磁盘地址和进程虚拟地址的对应关系，访问映射区域时，操作系统会自动把对应的文件内容加载到物理内存，不需要额外的拷贝操作。这种方式下，文件内容不会一次性全部加载到内存，而是按需加载，即使处理远超物理内存大小的文件也不会出现内存溢出问题。
基础使用步骤
使用mmap模块读取大文件的核心步骤如下：
- 使用open函数以二进制模式打开目标文件，获取文件描述符
- 调用mmap.mmap方法创建内存映射对象，指定映射的文件描述符和映射长度
- 像操作字节串一样操作映射对象，读取或修改文件内容
- 操作完成后关闭映射对象和文件描述符
基础读取示例
以下代码演示了使用mmap读取大文件的基本用法：
import mmap
# 以二进制读模式打开文件
with open('large_file.bin', 'rb') as f:
# 创建内存映射对象，0表示映射整个文件
with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
# 读取前1024字节内容
content = mm[:1024]
print(f"读取到的前1024字节长度: {len(content)}")
# 移动指针到文件开头
mm.seek(0)
# 读取一行内容
first_line = mm.readline()
print(f"第一行内容: {first_line}")
常用参数说明
mmap.mmap方法的常用参数含义如下：
| 参数名 | 含义 |
|---|---|
| fileno | 文件描述符，通过文件对象的fileno()方法获取 |
| length | 映射的字节数，0表示映射整个文件 |
| access | 访问权限，ACCESS_READ表示只读，ACCESS_WRITE表示可写，ACCESS_COPY表示写时复制 |
| offset | 映射的起始偏移量，需要是系统内存页大小的整数倍 |
性能对比测试
我们对比传统read方式和mmap方式读取1GB文件的性能差异，测试代码如下：
import time
import mmap
def read_by_read(file_path):
start = time.time()
with open(file_path, 'rb') as f:
while True:
# 每次读取1MB
chunk = f.read(1024 * 1024)
if not chunk:
break
end = time.time()
print(f"read方式耗时: {end - start:.2f}秒")
def read_by_mmap(file_path):
start = time.time()
with open(file_path, 'rb') as f:
with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
# 遍历所有内容
for _ in mm:
pass
end = time.time()
print(f"mmap方式耗时: {end - start:.2f}秒")
# 假设当前目录下有1GB的test_large.bin文件
read_by_read('test_large.bin')
read_by_mmap('test_large.bin')
实际测试中，mmap方式的耗时通常只有传统read方式的30%到50%，且内存占用远低于传统方式。
注意事项
- mmap映射的文件需要以二进制模式打开，不支持文本模式的文件对象
- 映射大文件时不需要担心内存不足，因为映射的是虚拟地址空间，物理内存按需分配
- 修改映射内容时，如果使用ACCESS_WRITE权限，修改会直接同步到磁盘文件，使用ACCESS_COPY权限则不会修改原文件
- Windows系统和类Unix系统的mmap参数略有差异，跨平台使用时需要注意适配
适用场景
mmap模块适合以下场景：
- 处理GB级别以上的超大文件，避免内存溢出
- 需要频繁随机访问文件内容的场景，内存映射的随机访问效率远高于普通文件读取
- 多个进程需要共享访问同一个大文件的场景，映射区域可以被多个进程共享
内存映射虽然高效，但不适合小文件读取，小文件使用常规读取方式更简单，额外开销也更小。