Linux系统运行过程中，磁盘作为核心存储组件，一旦出现读写错误或者IO错误，会直接影响业务服务的正常运行，严重时甚至会导致数据损坏。这类错误的诱因多样，既可能是硬件故障，也可能是文件系统损坏或者系统配置不当。
常见磁盘读写错误和IO错误类型
1. 硬件层面错误
这类错误通常和磁盘本身或者连接部件有关，系统日志中会出现类似sd 0:0:0:0: [sda] Unhandled error code的记录，常见表现包括磁盘无法识别、读写时频繁卡顿、坏道报错等。
2. 文件系统层面错误
文件系统损坏会导致读写操作失败，比如执行文件读写时出现Input/output error提示，或者挂载磁盘时提示文件系统需要修复，这类问题多发生在非正常关机、磁盘突然断电之后。
3. 系统资源限制错误
当系统IO负载过高，或者达到了内核参数设置的IO限制时，也会出现读写错误，比如大量并发IO请求导致磁盘队列溢出，出现请求超时的IO错误。
错误排查方法
查看系统日志定位错误
首先可以通过系统日志查看错误的详细记录，使用dmesg命令查看内核日志，或者查看/var/log/messages、/var/log/syslog文件，找到错误对应的磁盘设备名和错误类型。
# 查看内核日志中的磁盘相关错误 dmesg | grep -i "error|io|disk" # 查看系统日志中的磁盘错误记录 grep -i "sd|ext4|xfs" /var/log/messages
检测磁盘健康状态
使用smartctl工具检测磁盘的健康状态，判断是否存在硬件层面的故障，该工具可以读取磁盘的SMART信息，提前发现潜在的硬件问题。
# 安装smartmontools工具 yum install smartmontools -y # 查看磁盘sda的SMART信息 smartctl -a /dev/sda # 对磁盘进行离线检测 smartctl -t offline /dev/sda
检查文件系统完整性
如果怀疑是文件系统损坏，可以使用对应的文件系统检查工具，比如ext4文件系统使用e2fsck，xfs文件系统使用xfs_repair，注意检查前需要先卸载对应的磁盘分区。
# 卸载磁盘分区 umount /dev/sda1 # 检查ext4文件系统 e2fsck -f /dev/sda1 # 检查xfs文件系统，注意xfs_repair不能直接修复挂载中的分区 xfs_repair /dev/sda1
对应解决方法
硬件故障处理
如果通过smartctl检测发现磁盘存在大量坏道或者硬件故障，需要及时备份磁盘中的重要数据，然后更换新的磁盘。如果是连接线松动导致的错误，可以重新插拔磁盘连接线或者更换连接线。
文件系统修复
对于文件系统损坏的情况，按照上述检查步骤使用对应的修复工具完成修复后，重新挂载磁盘即可。如果文件系统损坏严重无法修复，需要从备份中恢复数据，然后重新格式化磁盘。
系统配置优化
如果是IO负载过高导致的错误，可以优化业务程序的IO操作逻辑，减少不必要的并发IO请求，也可以调整内核的IO相关参数，比如修改/sys/block/sda/queue/nr_requests参数调整磁盘队列深度。
# 查看当前磁盘队列深度 cat /sys/block/sda/queue/nr_requests # 临时调整队列深度为256 echo 256 > /sys/block/sda/queue/nr_requests
预防措施
日常运维中可以通过定期执行磁盘健康检测、配置磁盘监控告警、规范系统关机流程、定期备份重要数据等方式，减少磁盘读写错误和IO错误的发生概率，降低故障带来的影响。