Apache代理缓存通常由 mod_proxy、mod_cache 以及 mod_cache_disk 或 mod_cache_socache 协同工作：客户端请求先经过 mod_proxy 判断是否需要反向代理，若缓存命中则直接响应，否则回源拉取数据并写入缓存。这个模型在中大型文件、API 响应与静态资源场景中能有效降低源站压力，但传统网络与存储路径仍然形成不少额外开销。
一、Apache代理缓存的传统数据路径瓶颈在哪里
Apache HTTP Server 的 mod_proxy 在处理请求时会把反向代理连接抽象成普通的 HTTP 请求和响应。即使命中缓存，mod_cache_disk 仍可能从磁盘读取文件。磁盘读取可以通过操作系统的页缓存和 sendfile 实现一定程度的零拷贝，但回源链路无法避免数据经过内核协议栈。一个典型未命中请求会经历以下过程：网卡收到源站响应后，DMA 将数据写入内核 socket 缓冲区；Apache 工作进程调用 read 或 recv 将数据复制到用户空间缓冲区；mod_cache 再把这份数据写入磁盘或共享内存；最后向客户端发送时，数据又需要从用户空间复制到内核发送缓冲区，再由网卡 DMA 发出。即使某些环节使用 sendfile 优化，也无法消除全部复制和上下文切换。
这种路径在低并发或小文件场景下影响有限，但当代理缓存承担高并发请求且需要频繁回源时，CPU 大量消耗在数据搬运、系统调用和协议栈处理上。特别地，如果缓存目录使用传统 NFS 或分布式文件系统，缓存写入与读取还会叠加网络文件系统协议、再经过一层 TCP，导致缓存层本身成为延迟放大器。因此，想要优化 Apache 代理缓存，不能只调整缓存命中规则，还要从数据移动路径入手。
二、RDMA远程直接内存访问能优化哪些环节
RDMA 的核心能力是让网卡直接访问远端主机的一块已注册内存区域，而不需要远端 CPU 参与数据复制，也不会经过本地内核网络栈。一次单边 RDMA Read 可以由本机网卡直接读取远端内存，远端 CPU 完全无感；单边 Write 则能把本机缓冲区数据直接写入远端内存。这种方式避免了数据在网卡、内核缓冲区和用户空间之间的多次拷贝，也大幅减少了系统调用和上下文切换。常见承载 RDMA 的网络包括 InfiniBand、RoCE 和 iWARP，其中 RoCE 在以太网环境中更容易落地。
把 RDMA 放在 Apache 代理缓存架构中，最直接受益的是回源和存储读取。假设缓存数据保存在支持 RDMA 的远端内存池或通过 RDMA 文件系统挂载的存储中，Apache 工作进程可以用 RDMA Read 把对象直接读入自己的用户空间缓冲区，无需经过远端缓存服务的 CPU 和本机 TCP 协议栈。类似的，当 mod_cache_disk 把缓存目录指定为 NFS over RDMA 挂载点时，缓存文件的读写可以走 RDMA 传输而不是传统 NFS over TCP。对于热点对象，还可以把缓存放入分布式共享内存，由 Apache 节点通过 RDMA 单边读取，避免重复回源。
但需要注意，Apache HTTP Server 本身并没有把 RDMA 实现为 mod_proxy 或 mod_cache 的内置传输层。RDMA 更多通过底层的文件系统、块设备驱动或独立缓存服务间接接入。因此实际收益取决于接入方式：如果只是把普通磁盘挂在 NFS over RDMA 上，仍存在文件系统与锁开销；如果使用自定义缓存模块直接管理 RDMA 内存，才能最大化发挥单边操作和零拷贝优势。
三、在Apache代理缓存中引入RDMA的几种落地方式
第一种方式是对 Apache 改动最小的 NFSoRDMA。先在服务器和源站或缓存存储节点之间配置好 RoCE 或 InfiniBand 网络，然后挂载 NFS over RDMA 共享目录，把 mod_cache_disk 的 CacheRoot 指向该目录。配置片段如下：
CacheRoot /var/cache/apache2/mod_cache_disk CacheEnable disk / CacheDirLevels 2 CacheDirLength 1 CacheMaxFileSize 1000000 CacheMinFileSize 1 CacheIgnoreNoLastMod On
但真正让数据走 RDMA 的关键在于底层挂载使用 proto=rdma。在服务器上执行类似 mount -o rdma,port=20049 192.168.1.10:/cache /var/cache/apache2/mod_cache_disk 的命令，NFS 客户端将不再使用 TCP 承载 NFS 流量。这种方式部署简单，适合已经有 NFS 存储的企业。其代价是 NFS 协议本身仍有 open、close、lookup 等元数据操作，小对象缓存读写可能被元数据请求拉高延迟，RDMA 带宽优势也无法完全抵消文件系统开销。
第二种方式是编写一个基于 libibverbs 的自定义缓存存储模块。Apache 的 mod_cache 允许通过 provider 接口注册新的缓存后端，模块可以在初始化时建立 RDMA queue pair，注册本地内存区域，并在缓存未命中时通过单边 RDMA Read 直接读取远端内存中的对象。实现时先调用 ibv_get_device_list 获取 RDMA 设备，再用 ibv_create_qp 创建队列对，注册内存后执行 ibv_post_send 发起 RDMA Read。核心代码逻辑如下：
struct ibv_device **dev_list = ibv_get_device_list(NULL); struct ibv_context *ctx = ibv_open_device(dev_list[0]); struct ibv_pd *pd = ibv_alloc_pd(ctx); struct ibv_cq *cq = ibv_create_cq(ctx, 128, NULL, NULL, 0); struct ibv_mr *mr = ibv_reg_mr(pd, buf, buf_size, IBV_ACCESS_LOCAL_WRITE); struct ibv_qp *qp = ibv_create_qp(pd, &qp_init_attr);
这段代码只展示了初始化和注册内存的部分步骤，完整的缓存模块还需要处理远端内存地址交换、Queue Pair 状态迁移、完成队列轮询、内存销毁和错误重连。与 NFSoRDMA 相比，自定义模块可以完全省略文件系统层，把缓存对象直接放在预先分配好的 RDMA 内存池中，命中时直接执行 RDMA Read，客户端响应也由 Apache 的用户空间缓冲区直接发送。但它开发成本高，需要处理不同 RDMA 网卡厂商的差异，还要考虑远端进程重启后内存区域重新注册的问题。
第三种方式更适合异构环境：让 Apache 继续作为 HTTP 代理和缓存决策层，但真正存储对象的介质使用独立的 RDMA 内存缓存服务。例如后端部署基于 RDMA 的键值存储或内存池服务，Apache 通过一个轻量模块用 RDMA 协议读取缓存对象，而不自己管理 RDMA 内存。这种分层方式把复杂的内存管理交给专用缓存服务，Apache 侧改动可控，同时缓存服务可以横向扩展。缺点是多一跳网络，不过 RDMA 低延迟可以在很大程度上弥补这一跳。
四、调优RDMA代理缓存与延迟验证
无论采用哪种接入方式，RDMA 链路本身的调优都会直接影响 Apache 代理缓存的响应稳定性。先要确认 RDMA 链路使用足够大的 MTU，RoCE 网络建议配置巨帧，例如 9000 字节，减少每个缓存对象的包数量。对于 InfiniBand，可以使用 link_width 和 speed 相关工具检查链路速率。同时要增加 Queue Pair 的发送队列和接收队列长度，避免高并发下出现 send queue full 或 receive queue empty 错误。内存注册方面，尽量使用大页内存减少页表项数量，长期运行的缓存进程应避免频繁注册和注销内存区域，可以预注册一整块内存池供缓存对象使用。
Apache 本身也需要同步调整。启用 MPM worker 或多进程模式时，每个工作进程都会建立自己的缓存连接或 RDMA queue pair，这会增加远端内存池的连接数。可以通过限制 Apache 子进程数、合理设置 ThreadsPerChild 和 MaxRequestWorkers 来避免耗尽 RDMA 设备资源。mod_cache 侧应设置合适的 CacheMinExpire、CacheMaxExpire 和 CacheIgnoreNoLastMod，让热点对象尽可能长时间留在 RDMA 内存或高速缓存中，减少回源与文件系统元数据操作。对于 API 响应或动态内容，建议通过 Cache-Control 和 ETag 精确控制缓存有效性，而不是简单依赖默认过期时间。
压测验证时，可以先使用 RDMA 性能测试工具如 ib_read_bw、perftest 对比链路本身延迟，再用 wrk 或 ab 对 Apache 代理缓存进行命中与未命中场景压测。记录 P50、P99 和 P999 延迟，重点观察尾部延迟。典型优化前，回源路径在 TCP 和高负载下可能从几百微秒上升到几毫秒；通过 RDMA 内存池单边读取后，缓存命中路径的 P99 通常可以控制在几十微秒到一两百微秒。不过如果客户端仍通过 TCP 访问 Apache，客户端到 Apache 这一段网络延迟无法消除，优化收益主要集中在 Apache 到后端存储或源站这一侧。
Apache代理缓存RDMA远程直接内存访问修改时间：2026-08-22 05:17:51