编写CPU友好的C++代码是提升程序性能的核心方向，其中数据局部性优化是关键环节。CPU缓存的访问速度远高于主存，合理利用数据局部性可以减少缓存失效，大幅提升程序运行效率。
理解CPU缓存与数据局部性
CPU访问数据的速度差异极大，寄存器访问速度最快，其次是L1、L2、L3缓存，主存访问速度最慢，延迟可能是L1缓存的数百倍。为了减少主存访问带来的性能损耗，CPU设计了缓存机制，而数据局部性就是缓存能够生效的核心前提。
两种核心局部性类型
- 时间局部性：如果一个数据被访问过，那么在短时间内它很可能再次被访问。比如循环中的计数器变量，短时间内会被反复读取修改。
- 空间局部性：如果一个数据被访问，那么它相邻地址的数据很可能很快被访问。比如数组的连续元素访问，符合CPU缓存按缓存行加载数据的特性。
常见的数据局部性问题
不合理的容器数据布局
很多开发者习惯用vector存储对象指针，这种布局会破坏空间局部性。比如下面的代码，对象分散在堆的不同位置，遍历时缓存命中率极低。
#include <vector>
#include <iostream>
class User {
public:
int id;
std::string name;
int age;
};
int main() {
std::vector<User*> users;
// 逐个new对象，内存地址不连续
for (int i = 0; i < 10000; ++i) {
users.push_back(new User{i, "user" + std::to_string(i), 20 + i % 30});
}
// 遍历访问，缓存失效频繁
int totalAge = 0;
for (auto* user : users) {
totalAge += user->age;
}
std::cout << totalAge << std::endl;
// 释放内存
for (auto* user : users) {
delete user;
}
return 0;
}
结构体成员布局不合理
结构体的成员排列顺序会影响其占用的内存大小，也会间接影响数据访问的局部性。比如下面的结构体，成员排列没有考虑内存对齐，会浪费内存空间，也可能让相关成员不在同一个缓存行。
// 不合理的布局，存在内存填充
struct BadLayout {
char type; // 占1字节，后面填充7字节对齐
double value; // 占8字节
char status; // 占1字节，后面填充7字节对齐
};
// 优化后的布局，减少填充，相关成员相邻
struct GoodLayout {
double value; // 占8字节
char type; // 占1字节
char status; // 占1字节，后面填充6字节对齐
};
数据局部性优化实践方案
使用连续内存容器存储对象
对于需要频繁遍历的对象集合，优先使用vector存储对象本身而不是指针，保证对象在内存中连续分布，提升空间局部性。上面的示例可以修改为如下形式：
#include <vector>
#include <iostream>
class User {
public:
int id;
std::string name;
int age;
};
int main() {
std::vector<User> users;
// 对象在vector中连续存储
for (int i = 0; i < 10000; ++i) {
users.push_back(User{i, "user" + std::to_string(i), 20 + i % 30});
}
// 遍历访问，缓存命中率高
int totalAge = 0;
for (const auto& user : users) {
totalAge += user.age;
}
std::cout << totalAge << std::endl;
return 0;
}
优化结构体布局
可以按照成员大小从大到小的顺序排列结构体成员，减少内存填充，同时把频繁一起访问的成员放在相邻位置，提升访问效率。可以通过sizeof运算符验证结构体的大小变化。
#include <iostream>
struct BadLayout {
char type;
double value;
char status;
};
struct GoodLayout {
double value;
char type;
char status;
};
int main() {
std::cout << "BadLayout size: " << sizeof(BadLayout) << std::endl; // 输出24
std::cout << "GoodLayout size: " << sizeof(GoodLayout) << std::endl; // 输出16
return 0;
}
提升时间局部性
对于频繁访问的数据，尽量复用已经加载到缓存中的值，避免重复计算或者重复从主存加载。比如循环中多次使用同一个变量的值，可以先保存到局部变量中。
#include <vector>
int main() {
std::vector<int> data(10000, 1);
int sum = 0;
// 不好的写法，每次都访问data.size()
// for (int i = 0; i < data.size(); ++i) {
// sum += data[i];
// }
// 优化写法，提前缓存size，减少重复调用
int size = data.size();
for (int i = 0; i < size; ++i) {
sum += data[i];
}
return 0;
}
优化效果验证
可以通过性能测试工具对比优化前后的代码运行时间，通常数据局部性优化后，遍历类操作的性能可以提升30%以上，对于大数据量的场景提升效果更加明显。在实际开发中，需要结合业务场景的数据访问模式，针对性调整数据布局，才能最大化发挥CPU缓存的性能优势。