Linux系统日志记录了系统运行、服务状态、用户操作等关键信息，是运维排查故障的核心依据。当日志出现丢失或损坏时，会直接导致故障定位困难，影响系统运维效率。
常见日志丢失和损坏的原因
在解决问题前，需要先明确常见的触发因素，方便针对性处理：
- 日志服务异常：rsyslog、syslog-ng等日志服务进程意外停止、配置错误，导致日志无法正常写入。
- 存储空间不足：日志所在分区磁盘占满，新日志无法写入，甚至出现旧日志被自动清理的情况。
- 日志轮转配置错误：logrotate的轮转规则设置不合理，比如轮转频率过高、保留数量过少，或者轮转脚本执行失败。
- 文件权限问题：日志文件或目录的权限被误修改，日志服务进程没有写入权限，导致日志写入失败。
- 硬件或文件系统故障：磁盘坏道、文件系统错误，导致日志文件损坏或无法读取。
日志丢失的排查与解决方法
1. 检查日志服务运行状态
首先确认日志服务是否正常运行，以常用的rsyslog为例：
# 检查rsyslog服务状态 systemctl status rsyslog # 如果服务停止，尝试启动服务 systemctl start rsyslog # 设置服务开机自启，避免重启后服务未运行 systemctl enable rsyslog
如果服务启动失败，可以查看服务的错误日志定位问题：
# 查看rsyslog服务启动失败的原因 journalctl -u rsyslog -xe
2. 检查磁盘存储空间
确认日志所在分区的磁盘使用情况，避免空间不足导致日志无法写入：
# 查看所有分区的磁盘使用情况
df -h
# 如果/var/log所在分区使用率过高，清理无用文件
# 示例：清理7天前的临时日志文件
find /var/log -name "*.log" -mtime +7 -exec rm -f {} ;
3. 检查日志文件权限
确认日志文件和所在目录的权限是否正确，rsyslog默认以syslog用户运行，需要有写入权限：
# 查看/var/log目录及内部文件的权限 ls -ld /var/log ls -l /var/log/syslog # 如果权限异常，重新设置权限 chown syslog:adm /var/log/syslog chmod 640 /var/log/syslog
4. 检查logrotate轮转配置
如果日志是因为轮转规则不合理被清理，需要调整logrotate配置：
# 查看rsyslog的logrotate配置 cat /etc/logrotate.d/rsyslog
常见的合理配置示例：
/var/log/syslog
{
rotate 7 # 保留7个轮转后的日志文件
daily # 每天轮转一次
missingok # 日志文件不存在时不报错
notifempty # 日志文件为空时不轮转
delaycompress # 延迟压缩，下次轮转时再压缩上一个日志
compress # 压缩轮转后的日志
postrotate # 轮转后重启rsyslog服务，确保新日志写入新文件
/usr/lib/rsyslog/rsyslog-rotate 2>/dev/null || true
endscript
}
修改配置后，可以手动测试轮转是否生效：
# 手动执行logrotate测试配置 logrotate -vf /etc/logrotate.d/rsyslog
日志损坏的修复方法
1. 文件系统错误修复
如果是文件系统错误导致的日志文件损坏，先卸载对应分区，再执行文件系统修复：
# 卸载/var/log所在分区，假设分区为/dev/sda2 umount /dev/sda2 # 执行ext4文件系统修复，根据分区文件系统类型选择对应命令 fsck.ext4 -y /dev/sda2 # 修复完成后重新挂载分区 mount /dev/sda2 /var/log
2. 损坏日志文件恢复
如果日志文件本身损坏，可以尝试从备份恢复，或者提取部分可读内容：
# 如果有备份，直接从备份恢复日志文件 cp /backup/var/log/syslog /var/log/syslog # 如果没有备份，尝试提取损坏文件中的可读内容 strings /var/log/syslog > /tmp/syslog_recovery
3. 从journald日志恢复部分内容
systemd系统的journald会缓存部分日志，即使rsyslog的日志丢失，也可以尝试从journald中提取：
# 查看指定时间段的系统日志，比如查看最近1小时的日志 journalctl --since "1 hour ago" # 将journald日志导出为文件，补充丢失的rsyslog日志 journalctl > /var/log/syslog_journal_recovery
预防日志丢失和损坏的日常措施
- 定期监控磁盘空间，设置磁盘使用率告警，避免日志分区被占满。
- 定期备份重要日志文件，备份周期根据业务需求设置，比如每天增量备份，每周全量备份。
- 定期检查日志服务和logrotate配置，确保服务正常运行，轮转规则符合预期。
- 避免手动修改日志文件权限和配置，修改前先备份原有配置。
- 定期检查文件系统健康状态，及时发现磁盘坏道等问题。