导读:本期聚焦于天穹小白创作的《云服务器NUMA架构如何影响内存性能?双节点实例实测对比》,敬请观看详情。同一台云服务器上,为什么同样的代码有时延迟稳定、有时却毫无征兆地抖动?先别急着调JVM参数,建议先看看numactl --hardware的输出,你的进程很可能正在跨NUMA节点读取远端内存。本文在双NUMA节点云实例上完成了本地与远端内存访问实测:远端访问延迟约增加60%,内存带宽下降超过三成。文章围绕NUMA拓扑识别方法、lat_mem_rd与Stream测试流程、不同内存分配策略的实际效果展开,并给出绑核、membind以及实例规格选择建议。测试结果来自真实云环境,对Redis、MySQL、Elasticsearch等延迟敏感型工作负载尤其有参考价值。如果你发现实例规格越大性能并没有线性提升,可能不是云厂商缩水,而是NUMA距离在起作用。

云服务器虽然在控制台上看起来只是一台拥有若干vCPU和固定内存的虚拟机,但底层物理拓扑往往由多个NUMA节点组成。每个节点包含一组处理器核心和直接相连的内存控制器,访问本地内存与访问远端内存在延迟和带宽上并不相同。很多性能抖动并不是代码或云厂商限速造成的,而是线程被调度到错误节点、内存分配到了远端。本文在双NUMA节点的云实例上完成本地与远端访问的基准测试,用实测数据分析NUMA架构对内存性能的影响。

云服务器NUMA架构如何影响内存性能?双节点实例实测对比

一、NUMA架构在云服务器中如何呈现

传统SMP架构中所有处理器通过同一总线访问共享内存,核心数量少时延迟一致。当核心数量增长后,共享总线成为瓶颈,于是NUMA将处理器和内存划分为若干节点。节点内访问本地内存延迟低,节点之间通过UPI或QPI等高速互联通信,远端内存访问需要额外跳数。

云服务器中的NUMA要更复杂一些。虚拟化层可能把不同物理节点的vCPU和内存打包成一个实例,也可能把一个物理NUMA节点拆给多个租户。用户通常看不到完整拓扑,但可以通过lscpu和numactl --hardware观察操作系统视角的节点分布。下面是一个双节点实例的典型输出。

$ numactl --hardware
available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3
node 0 size: 8055 MB
node 0 free: 3127 MB
node 1 cpus: 4 5 6 7
node 1 size: 8063 MB
node 1 free: 2986 MB
node distances:
node   0   1
  0:  10  21
  1:  21  10

输出中的距离矩阵最值得关注。本地节点的距离通常为10,这是一个相对值,不代表纳秒数;远端节点距离为21,意味着跨节点访问代价大约是本地访问的两倍。如果实例有更多节点,距离矩阵还会出现30、40等更高值。只要看到大于一个节点,应用就可能受到远端内存访问惩罚。

不是所有云实例都会暴露多个NUMA节点。小规格实例可能只落在单个节点上,或者云厂商通过CPU固定和内存本地化避免跨节点。对于8核以上的通用型、内存型实例,多节点拓扑更常见。判断的方法很简单:先看节点数量,再观察应用线程是否跨节点运行,以及内存分配是否与线程所在节点一致。

二、测试环境与工具准备

本次测试使用一台8 vCPU、16 GB内存的双NUMA节点云实例,操作系统为Ubuntu 22.04。为了获取干净的延迟和带宽数据,安装numactl、lmbench和mbw等工具。其中lat_mem_rd来自lmbench,专门测量不同内存层次的访问延迟;mbw用于测量内存带宽。安装命令如下。

sudo apt-get update
sudo apt-get install -y numactl libnuma-dev lmbench mbw

测试方法的核心是通过numactl分别指定CPU节点和内存节点。例如--cpunodebind=0 --membind=0表示线程和内存都固定在节点0,此时测到的是本地内存访问;而--cpunodebind=0 --membind=1表示线程固定在节点0但内存分配在节点1,测到的就是远端访问。两类数据对比即可量化NUMA代价。

为了保证结果稳定,每次测试运行5轮取中位数,并在测试前关闭CPU频率调节。云实例不能直接操作物理电源管理,但可以设置cpupower frequency-set -g performance或者至少固定CPU亲和性,避免vCPU在物理核心之间迁移。另外,内存带宽测试需要关注缓存命中影响,mbw默认使用足够大的数组来降低缓存干扰。

三、内存延迟与带宽实测对比

下表是双节点云实例上本地节点与远端节点的内存访问基准结果。延迟使用lat_mem_rd 64M 128在64 MB工作集下测量,覆盖了L3缓存之后的内存访问;带宽使用mbw -n 1000 512的copy模式测量连续内存复制的吞吐。

访问模式内存延迟(纳秒)顺序读带宽(GB/s)
本地节点访问8618.5
远端节点访问13812.3
差异幅度约 +60%约 -33%

从测试结果看,远端访问的延迟增加非常明显,从86纳秒上升到138纳秒。对单次内存读取来说,60%的延迟增幅可能并不起眼,但在大量随机访问的内存数据库中,这个差异会直接放大到P99延迟。带宽方面,远端节点只有本地的三分之二左右,这意味着持续大块内存复制、流式数据处理会明显变慢。

下面是执行本地与远端延迟测试的命令,感兴趣的话可以在自己的云实例上复现。

# 本地内存延迟:CPU与内存都固定在节点0
numactl --cpunodebind=0 --membind=0 lat_mem_rd 64M 128

# 远端内存延迟:CPU固定在节点0,内存强制分配到节点1
numactl --cpunodebind=0 --membind=1 lat_mem_rd 64M 128

需要说明的是,不同云厂商、不同实例代际的NUMA距离和互联带宽存在差异。某些高性能计算型实例会使用更快的UPI链路,远端访问惩罚相对较低;普通虚拟化实例可能因为邻居租户争抢互联带宽,远端访问比裸金属更不稳定。因此本文数据主要用于横向对比本地和远端,不构成跨云厂商绝对性能排序。

四、跨节点访问对应用性能的实际影响

NUMA对应用的影响并非全局一致,主要取决于工作负载的访存模式。Redis、Memcached这类内存数据库以随机访问为主,对延迟极其敏感,如果数据落在远端节点,单次GET可能增加几十微秒,QPS下降三到五成。Elasticsearch和MySQL等有缓存池和大量索引扫描的场景,也容易因为远端内存带宽不足拖慢查询。

下面是一段简化C代码,模拟线程在节点0运行但内存分配在节点1的情况。程序分配256 MB缓冲区并逐行读取,测量耗时。通过切换numa_alloc_onnode的节点编号,可以直观感受本地和远端的差异。

#include <stdlib.h>
#include <numa.h>
#include <stdio.h>
#include <time.h>

int main(int argc, char **argv) {
    size_t size = 256UL * 1024 * 1024;
    int node = argc > 1 ? atoi(argv[1]) : 0;
    char *buf = numa_alloc_onnode(size, node);
    if (!buf) return 1;

    clock_t start = clock();
    volatile char sink;
    for (size_t i = 0; i < size; i += 64) {
        sink = buf[i];
    }
    clock_t end = clock();
    printf("node=%d time=%f ms\n", node,
           (double)(end - start) * 1000 / CLOCKS_PER_SEC);

    numa_free(buf, size);
    return sink ? 0 : 0;
}

代码中使用numa_alloc_onnode把内存明确分配到指定节点,再让进程在当前CPU节点上读取。实际运行时可以看到,与内存不同节点时耗时明显更长。很多应用没有显式调用NUMA接口,内存先由首次访问的线程分配,因此线程调度一旦漂移,就可能出现内存和CPU不在同一节点的情况。

除了延迟和带宽的宏观指标,还可以用perf统计跨节点访存事件。下面命令可以观察进程的本地和远端内存访问比例。

perf stat -e node-loads,node-load-misses,node-stores,node-store-misses \
    -- your_application

如果node-load-misses占node-loads比例持续偏高,说明大量读取落在远端节点,需要重新审视线程亲和性和内存分配策略。这些硬件计数器在云虚拟机中不一定完整暴露,但多数较新的虚拟化平台已经支持通过perf读取。

五、优化建议:绑核、内存分配策略与实例选型

针对NUMA敏感型应用,最简单的优化是绑核。使用numactl --cpunodebind=0 --membind=0 your_app启动进程,或者用taskset -c 0-3限制使用节点0的CPU。绑核后,进程不会再被调度器迁移到其他节点,配合本地内存分配能稳定获得较低的访问延迟。多线程应用可以按节点拆分工作线程,让每个线程组只访问自己节点的内存。

内存分配策略的选择也很关键。--localalloc表示在当前节点分配内存,适合单节点进程;--preferred=0优先从节点0分配,节点0内存不足时才使用其他节点;--interleave=0,1在多个节点间交错分配,适合大内存访问模式均匀、且多个线程分布在多个节点的应用。交错分配可以避免单个节点内存带宽成为瓶颈,但会牺牲部分本地低延迟优势。

在云服务器选型上,如果应用对延迟和带宽都很敏感,可以优先选择单NUMA节点的实例规格,或者使用专用宿主机、裸金属实例获得更完整的拓扑控制。也可以利用云厂商的CPU固定策略,让vCPU和内存落在同一物理节点。最终还是要结合numactl和perf的监测结果,判断是否真的存在跨节点访问,再进行有针对性的优化,避免盲目绑核导致资源空闲。

NUMA架构内存性能云服务器修改时间:2026-11-02 03:27:18

免责声明:已尽一切努力确保本网站所含信息的准确性。网站作品多为原创整理与精心创作,观点力求客观中立。本站旨在免费分享,内容仅供个人学习、研究或参考使用。若引用了第三方作品,版权归原作者所有。如内容涉及您的权益,请联系我们进行处理Email:chomcom@qq.com。
引用或转载本作品时,请注明当前出处:https://www.ipipp.com/html/1102/71594.html,基于非商业用途的前提下,欢迎转载或二创本作品。
内容垂直聚焦
专注技术核心技术栏目,确保每篇文章深度聚焦于实用技能。从代码技巧到架构设计,为用户提供无干扰的纯技术知识沉淀,精准满足专业提升需求。
知识结构清晰
覆盖从开发到部署的全链路。AI、前端、编程、数据库、服务器、建站、系统层层递进,构建清晰学习路径,帮助用户系统化掌握开发与运维所需的核心技术。
深度技术解析
拒绝泛泛而谈,深入技术细节与实践难点。无论是数据库优化还是服务器配置,均结合真实场景与代码示例进行剖析,致力于提供可直接应用于工作的解决方案。
专业领域覆盖
精准对应开发生命周期。从前端界面到后端编程,从数据库操作到服务器运维,形成完整闭环,一站式满足全栈工程师和运维人员的技术需求。
即学即用高效
内容强调实操性,步骤清晰、代码完整。用户可根据教程直接复现和应用于自身项目,显著缩短从学习到实践的距离,快速解决开发中的具体问题。
持续更新保障
专注既定技术方向进行长期、稳定的内容输出。确保各栏目技术文章持续更新迭代,紧跟主流技术发展趋势,为用户提供经久不衰的学习价值。