Linux系统为了保障多用户、多进程的运行稳定性，会对每个进程可使用的资源进行限制，当进程使用的资源超过预设阈值时，就会出现资源限制错误，常见的错误提示包括too many open files、cannot create thread、out of memory等。
常见的进程资源限制错误类型
进程资源限制错误通常对应不同的资源类型，常见的有以下几种：
- 文件描述符限制：进程打开的文件、socket连接数量超过系统允许的最大值，会提示too many open files错误，常见于高并发的网络服务程序。
- 线程数量限制：进程创建的线程数超过系统限制，会出现cannot create thread错误，多见于多线程应用场景。
- 内存使用限制：进程占用的内存超过系统或用户的内存配额，可能触发out of memory错误，甚至被系统OOM killer终止。
- 进程数量限制：用户或系统创建的进程总数超过限制，会出现resource temporarily unavailable错误。
排查进程资源限制错误的步骤
1. 查看当前进程的资源限制配置
可以使用ulimit命令查看当前shell会话下的资源限制配置，常用的参数如下：
# 查看所有资源限制配置 ulimit -a # 查看文件描述符限制 ulimit -n # 查看最大进程数限制 ulimit -u # 查看栈大小限制 ulimit -s
如果需要查看某个运行中进程的实际资源限制，可以读取该进程的limits文件：
# 假设进程PID为1234，查看其资源限制 cat /proc/1234/limits
2. 定位错误日志
系统日志和服务日志通常会记录资源限制相关的错误信息，可以通过以下方式查看：
- 系统全局日志：使用
journalctl -xe查看系统最近的错误日志，搜索对应的进程名或错误关键词。 - 服务专属日志：如果是systemd管理的服务，使用
journalctl -u 服务名查看该服务的运行日志。 - 应用自身日志：检查应用程序输出的错误日志，通常会有更明确的资源超限提示。
3. 确认资源使用情况
当确认是资源限制问题后，需要进一步确认进程当前的资源使用量是否接近或超过限制：
# 查看进程打开的文件描述符数量，PID替换为实际进程ID ls /proc/PID/fd | wc -l # 查看进程当前使用的内存情况 cat /proc/PID/status | grep -E "VmRSS|VmSize" # 查看系统当前内存使用情况 free -h # 查看当前用户创建的进程数量 ps -u 用户名 | wc -l
解决进程资源限制错误的方法
临时调整资源限制
如果只是临时测试或者临时恢复服务，可以通过ulimit命令临时调整当前shell会话的资源限制，调整后立即生效，但重启后会失效：
# 临时将文件描述符限制调整为65535 ulimit -n 65535 # 临时将最大进程数限制调整为4096 ulimit -u 4096 # 临时关闭内存限制（仅测试使用，不建议生产环境操作） ulimit -v unlimited
注意：这种方式仅对当前shell启动的进程生效，已经运行的进程不会受到影响，需要重启对应进程才能应用新的限制。
永久调整资源限制
针对用户级别的限制调整
修改/etc/security/limits.conf文件，添加对应的限制配置，格式为：用户名 限制类型 资源项 限制值，常见的配置示例如下：
# 所有用户文件描述符软限制为65535 * soft nofile 65535 # 所有用户文件描述符硬限制为65535 * hard nofile 65535 # 用户test的最大进程数软限制为4096 test soft nproc 4096 # 用户test的最大进程数硬限制为4096 test hard nproc 4096
修改完成后，需要重新登录会话或者重启服务才能生效，部分系统还需要确保/etc/pam.d/login中包含session required pam_limits.so配置。
针对systemd管理的服务调整
如果是通过systemd管理的服务出现资源限制错误，需要修改对应服务的unit配置文件，在[Service]段添加资源限制配置：
# 编辑服务配置文件，比如nginx服务 vim /etc/systemd/system/nginx.service # 或者在/lib/systemd/system/nginx.service基础上覆盖配置 # mkdir -p /etc/systemd/system/nginx.service.d # vim /etc/systemd/system/nginx.service.d/limits.conf # 在[Service]段添加如下配置 [Service] # 设置文件描述符限制 LimitNOFILE=65535 # 设置最大进程数限制 LimitNPROC=4096 # 设置内存限制为2G，单位可以是K、M、G LimitAS=2G
修改完成后执行以下命令使配置生效：
# 重新加载systemd配置 systemctl daemon-reload # 重启对应服务 systemctl restart nginx
系统全局级别的限制调整
部分资源限制还需要调整系统内核参数，比如系统级别的最大文件描述符数量，修改/etc/sysctl.conf文件：
# 系统全局最大文件描述符数量 fs.file-max = 1000000 # 系统最大孤儿socket数量 net.ipv4.tcp_max_orphans = 65536 # 允许分配的内存超过交换分区比例 vm.overcommit_memory = 1
执行sysctl -p使内核参数立即生效，重启后也会保留配置。
注意事项
- 硬限制只能由root用户调整，普通用户只能调低硬限制，不能调高；软限制可以被普通用户调整，但不能超过硬限制的值。
- 调整资源限制时需要结合服务器的实际硬件配置，过高的资源限制可能会导致系统资源耗尽，影响其他进程运行。
- 如果调整限制后问题仍然存在，需要排查是否是程序本身存在资源泄漏问题，比如打开的文件没有关闭、线程没有正确销毁等，这时候需要结合程序代码进行优化。