Golang应用接入日志收集系统的核心目标是把应用运行过程中产生的结构化日志统一上报到指定的收集端，方便后续的存储、查询和分析。要实现这个需求，需要从日志格式定义、日志库选择、上报逻辑实现三个层面逐步推进。
日志格式规范
接入日志收集系统前首先要统一日志的输出格式，结构化日志是大多数收集系统的首选格式，常见的结构化格式有JSON和键值对两种，其中JSON格式兼容性最好，几乎所有日志收集系统都支持解析。
标准的结构化日志需要包含以下基础字段：
- timestamp：日志产生的时间戳，建议使用RFC3339格式，方便跨时区解析
- level：日志级别，比如info、warn、error等
- msg：日志的具体描述内容
- trace_id：链路追踪ID，方便关联同一个请求的所有日志
- module：产生日志的模块名称，方便按模块筛选日志
常用Golang日志库配置
使用logrus实现结构化日志
logrus是Golang中常用的日志库，原生支持JSON格式输出，配置起来非常简单。以下是logrus的基础配置示例：
package main
import (
"github.com/sirupsen/logrus"
"os"
"time"
)
func initLog() *logrus.Logger {
logger := logrus.New()
// 设置输出到标准输出，也可以配置输出到文件
logger.SetOutput(os.Stdout)
// 设置日志格式为JSON
logger.SetFormatter(&logrus.JSONFormatter{
TimestampFormat: time.RFC3339,
})
// 设置最低日志级别为info
logger.SetLevel(logrus.InfoLevel)
return logger
}
func main() {
logger := initLog()
// 输出带自定义字段的日志
logger.WithFields(logrus.Fields{
"module": "user_service",
"trace_id": "abc123def456",
"user_id": 1001,
}).Info("用户登录成功")
}
使用zap实现高性能结构化日志
如果对日志性能要求较高，可以选择uber开源的zap日志库，它的性能比logrus更优，同样支持JSON格式输出：
package main
import (
"go.uber.org/zap"
"go.uber.org/zap/zapcore"
"time"
)
func initZapLogger() *zap.Logger {
// 配置编码器，输出JSON格式
encoderConfig := zapcore.EncoderConfig{
TimeKey: "timestamp",
LevelKey: "level",
NameKey: "logger",
CallerKey: "caller",
MessageKey: "msg",
StacktraceKey: "stacktrace",
LineEnding: zapcore.DefaultLineEnding,
EncodeLevel: zapcore.LowercaseLevelEncoder,
EncodeTime: zapcore.ISO8601TimeEncoder,
EncodeDuration: zapcore.SecondsDurationEncoder,
EncodeCaller: zapcore.ShortCallerEncoder,
}
// 输出到标准输出
core := zapcore.NewCore(
zapcore.NewJSONEncoder(encoderConfig),
zapcore.NewMultiWriteSyncer(zapcore.AddSync(os.Stdout)),
zap.DebugLevel,
)
logger := zap.New(core, zap.AddCaller())
return logger
}
func main() {
logger := initZapLogger()
defer logger.Sync()
// 输出带自定义字段的日志
logger.Info("用户登录成功",
zap.String("module", "user_service"),
zap.String("trace_id", "abc123def456"),
zap.Int("user_id", 1001),
)
}
对接不同日志收集系统
对接ELK Stack
ELK是目前最常用的日志收集方案，由Elasticsearch、Logstash、Kibana组成。Golang应用只需要把JSON格式的日志输出到标准输出，或者通过Filebeat采集应用输出的日志文件即可。
如果应用运行在Kubernetes环境中，只需要把日志输出到标准输出，集群的日志采集组件会自动收集容器标准输出的日志，不需要额外开发上报逻辑。
如果是物理机部署，可以配置Filebeat监听应用日志文件的路径，Filebeat会自动把新增的日志上报到Logstash或者Elasticsearch。以下是简单的Filebeat配置示例：
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/golang_app/*.log
json.keys_under_root: true
json.add_error_key: true
output.elasticsearch:
hosts: ["http://192.168.0.1:9200"]
index: "golang-app-log-%{+yyyy.MM.dd}"
对接Grafana Loki
Loki是轻量级的日志收集系统，适合和Prometheus、Grafana搭配使用。对接Loki有两种常见方式，一种是通过Promtail采集日志文件，另一种是直接通过HTTP接口上报日志。
直接通过HTTP接口上报日志的Golang实现示例如下：
package main
import (
"bytes"
"encoding/json"
"fmt"
"net/http"
"time"
)
// Loki日志上报结构体
type LokiLogEntry struct {
Streams []LokiStream `json:"streams"`
}
type LokiStream struct {
Stream map[string]string `json:"stream"`
Values [][]string `json:"values"`
}
func reportLogToLoki(logMsg string, level string) error {
// Loki的HTTP接口地址，替换为实际的Loki地址
lokiURL := "http://192.168.0.1:3100/loki/api/v1/push"
// 构造日志内容，时间戳需要是纳秒级
timestamp := time.Now().UnixNano()
stream := LokiStream{
Stream: map[string]string{
"job": "golang_app",
"level": level,
},
Values: [][]string{
{fmt.Sprintf("%d", timestamp), logMsg},
},
}
entry := LokiLogEntry{
Streams: []LokiStream{stream},
}
data, err := json.Marshal(entry)
if err != nil {
return err
}
resp, err := http.Post(lokiURL, "application/json", bytes.NewBuffer(data))
if err != nil {
return err
}
defer resp.Body.Close()
if resp.StatusCode != http.StatusNoContent {
return fmt.Errorf("上报日志失败，状态码：%d", resp.StatusCode)
}
return nil
}
func main() {
logContent := `{"timestamp":"2024-05-20T12:00:00Z","level":"info","msg":"用户登录成功","module":"user_service","trace_id":"abc123","user_id":1001}`
err := reportLogToLoki(logContent, "info")
if err != nil {
fmt.Printf("上报日志出错：%vn", err)
}
}
注意事项
在接入日志收集系统时需要注意以下几点：
- 不要在日志中输出敏感信息，比如用户密码、身份证号、手机号等，避免信息泄露
- 合理设置日志级别，生产环境不要开启debug级别日志，避免产生大量无用日志占用存储
- 如果采用主动上报的方式，需要添加重试机制，避免网络波动导致日志丢失
- 定期检查日志收集系统的存储容量，避免日志占满磁盘影响服务运行
日志接入完成后，可以通过日志收集系统的查询界面验证日志是否正常上报，比如按trace_id查询某个请求的全链路日志，确认字段解析是否正确。