在Linux服务器集群的日常运维中，日志是排查故障、监控服务状态的核心依据，配置高可用的日志分析工具可以避免单节点故障导致日志服务不可用，保障日志数据的完整性和可访问性。常用的高可用日志分析方案多基于ELK Stack实现，通过多节点部署、负载均衡、数据副本等机制提升系统可用性。
高可用日志分析架构设计
高可用日志分析系统的核心目标是消除单点故障，通常包含以下组件层级：
- 日志采集层：部署Filebeat等轻量采集器，负责从各服务器采集日志并发送到消息队列
- 消息缓冲层：使用Kafka集群作为日志缓冲，避免采集端直接压垮存储层，同时提升数据可靠性
- 日志处理层：部署多个Logstash节点，负责日志过滤、格式转换，实现处理能力的水平扩展
- 存储分析层：部署Elasticsearch集群，通过分片副本机制保障数据存储的高可用
- 展示层：部署多个Kibana实例，通过负载均衡对外提供服务
基础环境准备
准备3台Linux服务器（CentOS 7及以上版本），配置如下：
| 节点名称 | IP地址 | 部署组件 |
|---|---|---|
| node1 | 192.168.0.101 | Elasticsearch, Logstash, Kibana, Filebeat, Kafka |
| node2 | 192.168.0.102 | Elasticsearch, Logstash, Kibana, Filebeat, Kafka |
| node3 | 192.168.0.103 | Elasticsearch, Logstash, Kibana, Filebeat, Kafka |
首先所有节点安装Java 11环境，执行以下命令：
# 安装Java环境 yum install -y java-11-openjdk-devel # 验证安装 java -version
Elasticsearch集群配置
Elasticsearch是日志存储和分析的核心，集群部署通过分片副本实现高可用。首先在node1节点修改配置文件/etc/elasticsearch/elasticsearch.yml：
cluster.name: log-ha-cluster node.name: node1 network.host: 192.168.0.101 http.port: 9200 discovery.seed_hosts: ["192.168.0.101", "192.168.0.102", "192.168.0.103"] cluster.initial_master_nodes: ["node1", "node2", "node3"] # 开启副本，保障数据高可用 number_of_replicas: 1
将配置文件同步到node2、node3节点，修改对应node.name和network.host为当前节点信息，之后所有节点启动Elasticsearch服务：
systemctl start elasticsearch systemctl enable elasticsearch
验证集群状态，执行以下命令查看节点信息：
curl http://192.168.0.101:9200/_cat/nodes?v
Kafka集群配置
Kafka作为日志缓冲层，避免采集端直接请求Elasticsearch导致压力过大，同时保障日志数据不丢失。修改Kafka配置文件/opt/kafka/config/server.properties：
broker.id=1 listeners=PLAINTEXT://192.168.0.101:9092 log.dirs=/data/kafka-logs zookeeper.connect=192.168.0.101:2181,192.168.0.102:2181,192.168.0.103:2181 # 开启副本机制 default.replication.factor=2
同样同步配置到其他节点，修改broker.id和listeners为对应节点信息，启动Zookeeper和Kafka服务：
# 启动Zookeeper /opt/kafka/bin/zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties # 启动Kafka /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties
Logstash高可用配置
部署多个Logstash节点实现处理层高可用，配置/etc/logstash/conf.d/log-to-es.conf：
input {
kafka {
bootstrap_servers => "192.168.0.101:9092,192.168.0.102:9092,192.168.0.103:9092"
topics => ["app-logs"]
group_id => "logstash-group"
}
}
filter {
# 日志格式解析，根据实际日志格式调整
grok {
match => { "message" => "%{TIMESTAMP_ISO8601:log_time} %{LOGLEVEL:log_level} %{GREEDYDATA:log_content}" }
}
}
output {
elasticsearch {
hosts => ["192.168.0.101:9200", "192.168.0.102:9200", "192.168.0.103:9200"]
index => "app-logs-%{+YYYY.MM.dd}"
}
}
所有节点启动Logstash服务，多个节点会自动组成消费组，共同消费Kafka中的日志数据：
systemctl start logstash systemctl enable logstash
Filebeat采集配置
Filebeat部署在需要采集日志的业务服务器上，配置/etc/filebeat/filebeat.yml：
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/app/*.log
output.kafka:
hosts: ["192.168.0.101:9092", "192.168.0.102:9092", "192.168.0.103:9092"]
topic: "app-logs"
# 开启ACK保障数据发送到Kafka
required_acks: 1
启动Filebeat服务：
systemctl start filebeat systemctl enable filebeat
Kibana高可用与负载均衡
部署多个Kibana实例，通过Nginx做负载均衡实现展示层高可用。首先配置Kibana，修改/etc/kibana/kibana.yml：
server.host: "0.0.0.0" server.port: 5601 elasticsearch.hosts: ["http://192.168.0.101:9200", "http://192.168.0.102:9200", "http://192.168.0.103:9200"]
所有节点启动Kibana服务后，在负载均衡节点配置Nginx：
upstream kibana_cluster {
server 192.168.0.101:5601;
server 192.168.0.102:5601;
server 192.168.0.103:5601;
}
server {
listen 80;
server_name log.ipipp.com;
location / {
proxy_pass http://kibana_cluster;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
}
}
高可用验证
可以通过以下方式验证系统高可用：
- 停止任意一个Elasticsearch节点，查看集群是否自动切换主节点，日志写入是否正常
- 停止任意一个Logstash节点，查看Kafka消费是否正常，日志是否继续写入Elasticsearch
- 停止任意一个Kibana节点，通过负载均衡地址访问Kibana是否正常
日常运维中需要定期检查各组件运行状态，监控集群负载，及时扩容节点应对日志量增长的情况。