在C++开发中，面对超出物理内存容量的大数据集，传统的 vector 全量加载方式会直接导致内存耗尽。合理的做法是根据数据特征采用内存映射、分块流式处理或外部排序等策略，在有限资源下完成计算任务。
为什么不能直接加载大数据集
很多初学者习惯用 std::ifstream 一次性读取文件到 string 或 vector 中，这种做法在文件大小为几百MB时尚可接受，但一旦数据达到数GB甚至更大，进程虚拟内存很快被占满。Linux 系统默认会触发 OOM Killer 杀掉进程，Windows 则抛出 bad_alloc 异常。
从操作系统角度看，即使物理内存有交换分区，频繁换页也会让程序性能呈指数级下降。因此处理大数据集的第一原则就是控制常驻内存的数据量，把磁盘当作内存的延伸来使用。
使用内存映射文件处理只读大数据
内存映射（memory mapped file）是处理超大文件最有效的手段之一。它借助 mmap（Linux）或 CreateFileMapping / MapViewOfFile（Windows）将文件直接映射到进程地址空间，CPU 访问对应地址时由页表机制按需从磁盘读取，不需要用户态缓冲区。
下面是一段 Linux 下使用 mmap 读取大文件的示例，我们映射后按字节遍历统计换行符数量，整个过程没有调用 read 系统调用：
#include <fcntl.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <unistd.h>
#include <iostream>
int main() {
int fd = open("bigdata.bin", O_RDONLY);
if (fd == -1) {
return 1;
}
struct stat st;
fstat(fd, &st);
// 映射整个文件到内存地址空间
char* data = static_cast<char*>(mmap(nullptr, st.st_size, PROT_READ, MAP_PRIVATE, fd, 0));
if (data == MAP_FAILED) {
close(fd);
return 1;
}
long newline_count = 0;
for (off_t i = 0; i < st.st_size; ++i) {
if (data[i] == 'n') {
++newline_count;
}
}
std::cout << "lines: " << newline_count << std::endl;
munmap(data, st.st_size);
close(fd);
return 0;
}
这种方式的优势在于代码简洁且利用了内核的页缓存，多个进程映射同一文件还能共享缓存。缺点是映射区域受虚拟地址空间限制，32位程序通常无法映射超过2GB到3GB的文件，且写入时需注意同步策略。
如果数据需要随机修改，可以使用 MAP_SHARED 标志，修改会回写磁盘，但要小心并发写造成的冲突。对于纯分析场景，MAP_PRIVATE 配合只读权限最安全。
分块流式读取与处理
当文件格式不支持随机访问，或者运行环境不支持 mmap 时，分块读取是通用方案。核心是用固定大小的缓冲区循环调用 read 或 >> 操作符，每读入一块就立即计算，然后释放。
以下示例展示用 ifstream 每次读取 1MB 块并累加其中的整数，适合处理以二进制方式存储的大型数组：
#include <fstream>
#include <iostream>
#include <vector>
int main() {
const std::size_t BUF_SIZE = 1024 * 1024;
std::ifstream in("numbers.bin", std::ios::binary);
if (!in) {
return 1;
}
std::vector<int> buffer(BUF_SIZE / sizeof(int));
long long total = 0;
while (in.read(reinterpret_cast<char*>(buffer.data()), BUF_SIZE)) {
std::size_t count = in.gcount() / sizeof(int);
for (std::size_t i = 0; i < count; ++i) {
total += buffer[i];
}
}
// 处理最后一次不足一块的数据
std::size_t remain = in.gcount() / sizeof(int);
for (std::size_t i = 0; i < remain; ++i) {
total += buffer[i];
}
std::cout << "sum: " << total << std::endl;
return 0;
}
分块法内存占用恒定，适合任意大小文件。缺陷是顺序访问无法跳过无关数据，如果只需查部分记录，可结合索引文件先定位偏移量再 seek。
为了进一步提升吞吐，可以为每块分配独立线程，用线程池消费块队列，但需注意汇总结果时的原子操作开销。对于数值密集任务，可在块内使用 OpenMP 做 SIMD 并行求和。
外部排序与多路归并
如果大数据集需要排序但内存不足，应采用外部排序：先分块排序落盘，再做多路归并。假设内存只能容纳 1GB 数据，我们将 100GB 文件切成 100 份分别快排，生成临时有序文件，最后用优先队列每次取各文件最小头元素。
下面简化展示归并核心逻辑，实际中可用 std::priority_queue 管理各流当前值：
#include <queue>
#include <vector>
#include <iostream>
struct Item {
int val;
int file_id;
bool operator>(const Item& o) const { return val > o.val; }
};
// 伪代码：从多个已排序数组合并
void merge_arrays(const std::vector<std::vector<int>>& arrays) {
std::priority_queue<Item, std::vector<Item>, std::greater<Item>> pq;
std::vector<size_t> idx(arrays.size(), 0);
for (size_t i = 0; i < arrays.size(); ++i) {
if (!arrays[i].empty()) {
pq.push({arrays[i][0], static_cast<int>(i)});
idx[i] = 1;
}
}
while (!pq.empty()) {
Item top = pq.top(); pq.pop();
std::cout << top.val << " ";
if (idx[top.file_id] < arrays[top.file_id].size()) {
pq.push({arrays[top.file_id][idx[top.file_id]], top.file_id});
++idx[top.file_id];
}
}
}
外部排序的磁盘I/O次数决定性能，因此应尽量减少归并路数或采用置换选择排序降低临时文件数量。在 SSD 上随机读写延迟低，可适当增大内存块以削减分块数。
对于日志类数据，如果只需按时间窗口聚合，也可直接哈希分桶写不同文件，避免全局排序，这种策略在监控场景中非常常见。
总结与选型建议
处理大数据集没有银弹。若数据只读且需频繁随机访问，内存映射最优雅；若环境受限或流式解析，分块读取最稳；若必须全局排序而内存不够，外部排序不可避。实际项目中常组合使用，例如用 mmap 暴露映射区，再起线程池分片计算，最后归约结果。
另外建议开启编译器优化如 -O2 并尽量使用连续内存容器，减少缓存缺失。当单机能扛住时，优先优化算法复杂度而非盲目引入分布式框架，往往能省下大量运维成本。