在由多台服务器组成的集群中，共享存储是保证数据一致性的基础。NFS（Network File System）通过RPC机制把服务端的一个目录导出到网络，客户端挂载后可以像操作本地磁盘一样读写远端文件。相比GlusterFS、Ceph等分布式文件系统，NFS部署简单、兼容性好，仍是很多中小规模集群的首选。本文基于Linux环境，介绍NFS服务器在集群共享存储中的配置步骤和调优思路。
一、NFS共享存储的工作机制
NFS并不是一个独立运行的服务进程，它依赖RPC（Remote Procedure Call）来完成客户端与服务端之间的函数级通信。服务端启动后，会注册rpcbind、mountd、nfsd、statd、idmapd等多个守护进程。rpcbind负责端口映射，mountd处理挂载请求，nfsd响应文件读写，statd和idmapd则分别负责文件锁与用户身份映射。在NFSv4中，不少辅助进程被整合到nfsd内部，使用2049端口即可完成主要通信，这在防火墙策略上比NFSv3更容易管理。
当集群节点挂载NFS目录时，客户端并不会把远端文件全部复制到本地，而是通过RPC请求按需读取数据块。例如某个Pod或计算进程需要读取/data/cluster/job1/input.bin，客户端内核向NFS服务端发起READ请求，服务端返回对应数据。由于多个节点可能同时修改同一批文件，NFS必须提供文件锁机制。NFSv3主要依赖NLM（Network Lock Manager）协议，而NFSv4将锁管理直接集成到协议中，锁的可靠性更高，更适合集群场景。
集群共享存储要求所有节点看到的目录内容一致。NFS采用缓存和属性回访机制平衡性能与一致性。默认情况下，客户端会缓存文件属性，并通过actimeo等参数控制缓存时间。如果集群对实时一致性要求很高，可以把缓存时间调小，或使用sync导出和hard挂载参数降低状态漂移风险。理解这些原理后再配置服务端和客户端，可以避免很多莫名其妙的“文件不存在”“权限拒绝”问题。
二、服务端安装与导出配置
服务端需要安装NFS相关软件包。在Rocky Linux、AlmaLinux、CentOS Stream上使用dnf/yum，在Debian、Ubuntu上使用apt。安装完成后，先创建要共享的目录，并设置合适属主。对于Web集群或HPC集群，如果节点进程以不同用户运行，通常把目录属主设置为nobody或统一的应用账户，再配合no_root_squash或all_squash控制权限。
# Rocky/AlmaLinux/CentOS Stream sudo dnf install -y nfs-utils # Debian/Ubuntu sudo apt install -y nfs-kernel-server sudo mkdir -p /data/cluster sudo chown -R nobody:nogroup /data/cluster
核心配置在/etc/exports中。每一行定义一个导出目录，后面跟允许访问的客户端范围以及挂载选项。客户端范围可以是单个IP、网段、主机名或通配符。例如把/data/cluster共享给192.168.10.0/24网段，常用配置如下：
/data/cluster 192.168.10.0/24(rw,sync,no_root_squash,no_subtree_check)
这里rw表示客户端可读写，sync表示服务端在回复客户端前必须把数据写入磁盘，能提高一致性但会牺牲一点性能。no_root_squash表示客户端root用户仍以root身份访问，如果集群节点需要root权限部署应用，这个参数很方便，但安全性较低。更安全的做法是去掉该参数，让root被映射为nobody，再用anonuid和anongid指定匿名用户。no_subtree_check可以避免导出子目录时因文件系统边界检查带来的性能损耗。
修改完exports文件后，使用exportfs -r重新加载配置，并启动NFS服务。必要时可以查看已导出的目录，确认规则生效。如果开启了防火墙，需要放行2049端口以及rpcbind等辅助服务端口。
sudo exportfs -r sudo systemctl enable --now nfs-server sudo systemctl status nfs-server sudo exportfs -v # 防火墙示例 sudo firewall-cmd --permanent --add-service=nfs sudo firewall-cmd --reload
三、集群节点挂载与开机自动挂载
服务端配置完成后，在每一台集群节点上安装NFS客户端工具。Linux发行版通常已经包含mount.nfs4，但最小化安装可能缺少nfs-utils。客户端创建挂载点后，使用mount命令挂载。NFSv4可以直接挂载导出路径，也可以使用伪根方式。这里的示例使用直接挂载方式：
sudo mkdir -p /mnt/cluster sudo mount -t nfs4 192.168.10.10:/data/cluster /mnt/cluster df -hT /mnt/cluster
挂载成功后，df -hT会显示文件系统类型为nfs4。此时在任意节点写入一个文件，其他节点可以立即看到。为了让节点重启后自动挂载，一般写入/etc/fstab。但直接写入fstab存在一个风险：如果NFS服务端临时不可用，节点启动会卡在挂载步骤。建议添加nofail和x-systemd.automount，让系统在需要访问目录时才触发挂载，避免阻塞开机流程。
192.168.10.10:/data/cluster /mnt/cluster nfs4 defaults,_netdev,nofail,x-systemd.automount 0 0
除了基本挂载，集群节点还需要关注挂载参数。常见参数包括hard、intr、rsize、wsize、nconnect、actimeo等。其中hard表示服务端无响应时客户端一直重试，适合数据库类不能中断的负载；soft则会在超时后返回错误，适合可重试的任务。对于高并发小文件场景，可以通过nconnect启用多个TCP连接提升吞吐。
四、并发访问中的锁与权限映射
集群共享存储最容易出现的问题不是挂载失败，而是多节点同时写文件时产生锁冲突或数据覆盖。NFSv3需要额外启动NLM锁服务，通过rpc-statd和lockd内核模块协同工作。NFSv4则把文件锁嵌入协议本身，节点A打开文件并获得写锁后，节点B的写锁请求会被阻塞，直到锁释放。这样可以保证多个节点不会同时破坏同一个文件。
但要注意，NFS锁和本地文件锁的行为存在差异。有些应用使用flock，有些使用fcntl，它们在NFS挂载点上的兼容性不同。如果应用依赖严格的锁语义，应在挂载时使用nolock以外的方式，并在NFSv4下测试。启用锁服务后在所有节点上检查rpc-statd和nfs-idmapd状态，避免锁请求挂起。
sudo systemctl enable --now rpc-statd sudo systemctl enable --now nfs-idmapd sudo systemctl status rpc-statd sudo systemctl status nfs-idmapd
身份映射是另一个容易踩坑的环节。NFS默认使用UID和GID判断权限，但如果集群节点上相同用户名对应的UID不一致，就会出现“这个节点能写，另一个节点只能读”的情况。统一身份源非常重要，通常做法是接入LDAP、NIS或使用统一的主机账号同步脚本。NFSv4支持基于名字的映射，通过idmapd把远端UID转换为本地用户，这样即便UID不同也能正确识别用户，但要求两边用户名一致。
权限配置上，如果集群中只有应用账户需要写入数据，不要开启no_root_squash。可以把导出配置改成rw,sync,root_squash,no_subtree_check，这样客户端root被压成nobody，降低误操作风险。若应用以特定用户运行，可以使用anonuid和anongid把匿名访问映射到该用户，使权限管理更集中。
五、故障排查与性能调优
当挂载失败时，先检查服务端exportfs -v输出，确认导出规则是否匹配客户端网段。再检查网络连通性和防火墙。NFSv4默认使用2049端口，但mountd、rpcbind等可能使用随机端口，如果中间有防火墙，最好固定这些服务端口。客户端可以使用showmount -e 192.168.10.10查看服务端导出的目录，该命令依赖rpcbind。
showmount -e 192.168.10.10 rpcinfo -p 192.168.10.10
性能调优方面，NFS的缓存策略直接影响读写速度。客户端设置actimeo可以控制文件和目录属性的缓存时间，单位是秒。如果集群任务对文件属性变化很敏感，可以设置为1到5秒；如果目录内容变化不频繁，可以设置为30秒以上，减少RPC调用。读写块大小rsize和wsize通常由客户端与服务端协商，现代NFS默认值已比较合理，但在万兆网络下可以尝试调整为1MB，即rsize=1048576,wsize=1048576。
对于小文件密集型场景，问题往往不在带宽而在RPC延迟。NFS每次文件操作都需要与服务端交互，小文件越多延迟放大越明显。可以启用nconnect建立多个TCP连接，让请求并行发送。也可考虑使用NFS over RDMA或Kerberos认证，但部署复杂度更高。对于大文件顺序读写，NFS性能接近本地SATA SSD，可以满足多数集群训练数据集的读取需求。
高可用方面，单台NFS服务器存在单点故障。生产环境建议配合DRBD和Keepalived实现主备切换，或使用商业NAS设备提供的双控制器NFS服务。无论采用哪种方案，接入集群前都应进行故障演练，确认在多节点同时读写时，切换过程中不会丢失已写文件或留下损坏锁句柄。只有把服务端、客户端挂载参数、锁服务、权限映射和故障恢复统一考虑，NFS才能真正成为集群共享存储的稳定底座。