Linux系统作为服务器领域的主流操作系统，运行时难免会出现各类CPU相关的问题，这些问题轻则导致服务响应变慢，重则引发服务宕机，掌握常见CPU问题的排查和解决方法是运维和开发人员的必备技能。
常见的Linux CPU问题类型
1. CPU整体占用率过高
通过监控工具可以看到系统所有CPU核心的使用率长期处于80%以上，用户态或者内核态CPU占比异常，通常是由于某个或某几个进程大量消耗CPU资源导致。
2. 系统负载过高但CPU使用率低
使用uptime命令查看时发现系统负载值远高于CPU核心数，但是top命令显示的CPU使用率并不高，这类问题多是由于进程处于不可中断睡眠状态，比如等待磁盘IO、网络IO响应导致。
3. 单进程CPU占用异常飙升
某个用户进程或者系统进程的CPU占用率突然达到100%甚至更高，可能是进程出现死循环、逻辑错误，或者遭遇了恶意攻击。
4. 中断导致的CPU使用率高
内核态CPU使用率中，软中断或者硬中断占比过高，通常和网络包处理、磁盘读写请求、硬件设备故障相关。
CPU问题排查常用工具
遇到CPU问题时，需要先通过工具定位问题根源，以下是常用的排查工具：
- top：实时查看系统整体CPU使用率、进程CPU占用排序，是最常用的基础排查工具
- htop：top的增强版本，支持更直观的界面展示和交互操作，可以按CPU、内存等维度排序进程
- pidstat：可以查看指定进程的CPU使用细节，包括用户态、内核态、IO等待等维度的占用情况
- perf：Linux内核自带的性能分析工具，可以定位进程内具体函数、代码段的CPU消耗情况
- vmstat：查看系统整体的CPU、内存、IO等运行状态，快速判断系统瓶颈方向
典型问题的解决方法
CPU整体占用过高的解决步骤
首先使用top命令找到占用CPU最高的进程，记录进程PID：
# 运行top命令，按P键按CPU使用率排序 top # 假设找到PID为1234的进程占用CPU过高，查看进程详细信息 ps -ef | grep 1234
如果是业务进程，先判断是否为正常业务高峰，如果是异常占用，可以通过以下方式处理：
- 如果是自己开发的应用，使用perf工具定位代码中的热点函数，优化逻辑，比如减少不必要的循环、缓存重复计算的结果
- 如果是第三方服务进程，查看官方文档是否有相关优化建议，或者升级到稳定版本
- 如果是恶意进程，直接结束进程并排查入侵原因，加固系统安全
系统负载过高但CPU使用率低的解决
这类问题通常是IO等待导致的，先使用vmstat查看IO等待情况：
# 每2秒输出一次系统状态，输出5次 vmstat 2 5
如果输出结果中wa列数值较高，说明是磁盘IO等待导致的负载高，可以进一步使用iotop命令找到占用IO最高的进程，优化对应进程的IO操作，比如减少频繁的磁盘读写、使用缓存减少IO次数，或者排查磁盘是否存在故障。
中断导致的CPU使用率高解决
先查看中断的分布情况：
# 查看软中断统计信息 cat /proc/softirqs # 查看硬中断统计信息 cat /proc/interrupts
如果是网络相关的中断过高，可以调整网卡的中断亲和性，把中断分配到不同的CPU核心处理，或者优化网络相关的业务逻辑，减少不必要的网络包处理。如果是磁盘相关的中断过高，排查磁盘是否存在坏道、读写压力过大等问题，必要时更换磁盘或者扩容存储。
单进程CPU异常飙升的临时处理
如果进程出现死循环等紧急情况，需要先临时降低进程优先级，避免影响其他服务：
# 将PID为1234的进程优先级调低，nice值设为19（最低优先级） renice 19 1234 # 如果进程无法恢复，确认无影响后结束进程 kill -9 1234
之后再根据进程日志和代码排查具体的问题原因，修复后重新启动进程。
CPU问题的日常预防建议
除了出现问题后的解决，日常做好预防可以减少CPU问题的发生：
- 定期监控系统的CPU使用率、负载等指标，设置合理的告警阈值，提前发现问题
- 业务上线前做好性能测试，评估进程的CPU资源消耗，避免出现资源耗尽的情况
- 及时更新系统和软件的版本，修复已知的性能相关bug
- 合理分配系统资源，避免多个高CPU消耗的服务部署在同一台服务器上