Linux系统运行过程中,进程被卡住是较为常见的异常场景,这类问题会导致服务响应变慢甚至完全不可用,需要结合系统工具和日志逐步定位根因。进程卡住通常表现为进程无响应、CPU占用率为0但无法退出、服务请求超时等,不同场景的排查方向存在差异。

先确认进程的基础状态
首先需要通过基础命令确认进程是否真的处于卡住状态,避免误判。可以使用ps命令查看进程的状态标识,常见的状态包括R(运行中)、S(睡眠)、D(不可中断睡眠)、Z(僵尸进程)等,其中D状态和长时间处于S状态的进程大概率是卡住了。
# 查看指定进程的状态,替换PID为实际进程ID
ps -o pid,state,cmd -p PID
# 查看所有进程的状态分布
ps aux | awk '{print $8}' | sort | uniq -c
如果进程状态为D,说明进程正在等待不可中断的IO操作,比如等待磁盘读写、网络存储响应等,这类进程无法通过kill命令直接终止,需要解决底层的IO阻塞问题。
检查系统资源占用情况
进程卡住很多时候和资源不足有关,需要排查CPU、内存、磁盘IO、网络等资源的使用情况。可以使用top命令查看整体资源占用,也可以用iotop查看磁盘IO占用,free查看内存使用情况。
# 查看实时资源占用,按P键按CPU排序,按M键按内存排序 top # 查看磁盘IO占用,需要安装iotop工具 iotop -o # 查看内存使用情况 free -h
如果发现内存占用接近100%,可能是进程因为内存不足被阻塞;如果磁盘IO使用率持续很高,可能是进程在等待磁盘读写完成导致卡住。
追踪进程的系统调用
如果基础状态和资源检查都无法定位问题,可以使用strace工具追踪进程的系统调用,查看进程卡在哪个具体的调用上。strace可以输出进程执行的所有系统调用和接收到的信号,能直接定位阻塞点。
# 追踪正在运行的进程,替换PID为实际进程ID strace -p PID # 追踪进程并输出调用耗时,方便定位慢调用 strace -p PID -c # 启动进程时直接追踪,替换./your_program为实际程序路径 strace ./your_program
比如如果输出中一直停留在read(3, 之类的调用,说明进程在等待文件描述符3的读操作,可能是对应的文件、socket或者管道没有数据返回,导致进程阻塞。
常见卡住场景及解决方法
IO阻塞导致卡住
如果是磁盘IO阻塞,可以检查磁盘是否有坏道,或者是否有其他进程占用了大量磁盘IO。如果是网络存储挂载导致的阻塞,可以检查网络连接是否正常,存储服务是否可用。对于D状态的进程,只能等待IO操作完成或者重启系统解决。
死锁导致卡住
如果进程是多线程程序,可能是发生了死锁。可以通过gdb attach到进程上查看线程的调用栈,定位死锁的位置。如果是程序自身的死锁问题,需要修改代码逻辑,避免重复加锁或者循环等待锁的情况。
# 安装gdb工具后,attach到进程查看线程栈 gdb -p PID # 在gdb交互界面输入以下命令查看所有线程栈 info threads thread apply all bt
依赖服务不可用导致卡住
如果进程依赖外部服务,比如数据库、缓存、第三方接口,当这些服务不可用时,进程可能会一直等待响应而卡住。可以检查进程的配置文件,确认依赖服务的地址是否正确,同时测试依赖服务的连通性。
预防进程卡住的建议
- 程序代码中设置合理的超时时间,避免无限等待IO或者外部服务响应
- 定期监控系统资源使用情况,设置资源告警阈值,提前发现资源不足的问题
- 对于关键服务,实现进程健康检查机制,当进程卡住时自动重启恢复
- 避免在程序中大量使用不可中断的IO操作,尽量使用支持超时的IO接口