在c++程序开发中，处理GB级别甚至更大的文件是常见需求，传统的fread、ifstream等读取方式需要多次调用系统调用，并且会在内核缓冲区和用户缓冲区之间反复拷贝数据，当文件体积较大时，性能损耗会非常明显。mmap内存映射技术可以绕过这些冗余操作，直接将文件内容映射到进程的虚拟地址空间，让程序可以像访问内存一样访问文件数据，大幅提升读取效率。
mmap内存映射技术原理
mmap是操作系统提供的系统调用，它的核心作用是建立文件磁盘地址和进程虚拟地址空间中一段连续地址的映射关系。映射完成后，进程访问这段虚拟地址时，操作系统会自动将对应的文件内容从磁盘加载到物理内存，不需要用户主动调用read等函数。当进程修改映射区域的内容时，操作系统也会自动将修改同步回磁盘文件，整个过程由内核自动管理，减少了用户态和内核态的切换次数。
与传统读取方式的对比
我们可以通过几个核心维度对比mmap和传统读取方式的差异：
| 对比维度 | 传统read读取 | mmap内存映射 |
|---|---|---|
| 系统调用次数 | 多次，每次读取都需要调用 | 仅映射时一次调用 |
| 数据拷贝次数 | 至少两次，磁盘到内核缓冲区，再到用户缓冲区 | 零拷贝或者一次拷贝 |
| 大文件读取效率 | 文件越大效率越低 | 大文件下优势明显 |
| 随机访问支持 | 需要频繁seek，效率低 | 直接通过地址偏移访问，效率高 |
c++中使用mmap读取大文件的实现
在linux环境下，c++可以通过sys/mman.h头文件提供的mmap函数实现内存映射，下面是一份完整的大文件读取示例，实现读取文件内容并统计其中换行符的数量：
#include <iostream>
#include <sys/mman.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <cstring>
int main() {
// 打开目标大文件，这里以只读方式打开
const char* file_path = "large_file.dat";
int fd = open(file_path, O_RDONLY);
if (fd == -1) {
std::cerr << "打开文件失败" << std::endl;
return 1;
}
// 获取文件大小
struct stat file_stat;
if (fstat(fd, &file_stat) == -1) {
std::cerr << "获取文件信息失败" << std::endl;
close(fd);
return 1;
}
size_t file_size = file_stat.st_size;
std::cout << "文件大小: " << file_size << " 字节" << std::endl;
// 映射文件到内存，PROT_READ表示只读权限，MAP_PRIVATE表示私有映射，修改不会影响原文件
void* map_addr = mmap(nullptr, file_size, PROT_READ, MAP_PRIVATE, fd, 0);
if (map_addr == MAP_FAILED) {
std::cerr << "内存映射失败" << std::endl;
close(fd);
return 1;
}
// 统计文件中的换行符数量，直接通过内存地址访问文件内容
char* data = static_cast<char*>(map_addr);
size_t line_count = 0;
for (size_t i = 0; i < file_size; ++i) {
if (data[i] == 'n') {
++line_count;
}
}
std::cout << "文件中换行符数量: " << line_count << std::endl;
// 解除映射并关闭文件描述符
if (munmap(map_addr, file_size) == -1) {
std::cerr << "解除内存映射失败" << std::endl;
}
close(fd);
return 0;
}
使用mmap的注意事项
- 映射区域的大小不能超过文件实际大小，否则访问超出部分会触发段错误。如果文件大小不是页大小的整数倍，超出文件部分的映射区域访问会得到0，但是写入的话会导致不可预期的问题。
- mmap映射的文件描述符可以在映射成功后关闭，不会影响已经建立的映射关系，映射的生命周期由munmap调用或者进程退出决定。
- 如果是多进程场景，需要注意映射的共享属性，MAP_SHARED会让映射的修改同步到其他进程和磁盘，MAP_PRIVATE则是进程私有的修改，不会影响其他进程和原文件。
- 对于特别大的文件，比如超过进程虚拟地址空间的文件，不能直接映射整个文件，可以分块映射，每次映射文件的一部分进行处理，处理完成后解除映射再映射下一块。
- 映射的内存区域不会被常规的malloc内存统计工具统计到，排查内存问题时需要注意这一点。
适用场景说明
mmap并不是所有场景都适用，它更适合大文件的随机访问、需要频繁访问文件内容的场景。如果是小文件，传统读取方式的额外开销可以忽略，mmap的优势不明显。另外如果只需要顺序读取一次文件，并且读取后不需要再次访问，mmap的预加载机制可能会导致不必要的磁盘IO，反而比直接顺序读取效率低。
在实际开发中，可以根据文件大小、访问模式来选择合适的读取方式，充分发挥mmap内存映射技术在大文件处理中的性能优势。