Elasticsearch:Golang ECS 日志记录 - Logrus

ECS 记录器是你最喜欢的日志库的格式化程序/编码器插件。它们可让你轻松地将日志格式化为与 ECS 兼容的 JSON。

编码器以 JSON 格式记录,内部依赖于默认的 logrus.JSONFormatter。它还处理 ECS 错误格式的错误字段记录。

默认情况下,会添加以下字段:

复制代码
{
  "log.level": "info",
  "@timestamp": "2020-09-13T10:48:03.000Z",
  "message":" some logging info",
  "ecs.version": "1.6.0"
}

安装

将包添加到你的 go.mod 文件中:

复制代码
module zerolog-logging
require go.elastic.co/ecslogrus master

我们使用如下的命令来下载包:

配置

设置默认记录器。例如:

复制代码
log := logrus.New()
log.SetFormatter(&ecslogrus.Formatter{})

示例

使用结构化日志记录

logrus_structrued.go

复制代码
package main

import (
	"errors"

	"github.com/sirupsen/logrus"
	"go.elastic.co/ecslogrus"
)

func main() {
	log := logrus.New()
	log.SetFormatter(&ecslogrus.Formatter{})

	// Add custom fields.
	log.WithError(errors.New("boom!")).WithField("custom", "foo").Info("hello")
}

我们使用如下的命令来运行应用:

复制代码
go run logrus_structrued.go 

$ go run logrus_structrued.go 
{"@timestamp":"2024-07-23T15:50:15.202+0800","custom":"foo","ecs.version":"1.6.0","error":{"message":"boom!"},"log.level":"info","message":"hello"}

将自定义字段嵌套在 "label" 下

为了完全符合 ECS 要求,自定义字段应嵌套在 "label" 对象中。

logrus_custom.go

复制代码
package main

import (
	"errors"

	"github.com/sirupsen/logrus"
	"go.elastic.co/ecslogrus"
)

func main() {
	log := logrus.New()
	log.SetFormatter(&ecslogrus.Formatter{
		DataKey: "labels",
	})
	log.WithError(errors.New("boom!")).WithField("custom", "foo").Info("hello")
}

我们使用如下的命令来运行应用:

复制代码
go run logrus_custom.go

$ go run logrus_custom.go
{"@timestamp":"2024-07-23T15:53:35.311+0800","ecs.version":"1.6.0","error":{"message":"boom!"},"labels":{"custom":"foo"},"log.level":"info","message":"hello"}

报告调用者信息

logrus_caller.go

复制代码
package main

import (
	"errors"

	"github.com/sirupsen/logrus"
	"go.elastic.co/ecslogrus"
)

func main() {
	log := logrus.New()
	log.SetFormatter(&ecslogrus.Formatter{})
	log.ReportCaller = true
	log.WithError(errors.New("boom!")).WithField("custom", "foo").Info("hello")
}

我们使用如下的命令来运行应用:

复制代码
go run logrus_caller.go 

$ go run logrus_caller.go 
{"@timestamp":"2024-07-23T15:56:47.832+0800","custom":"foo","ecs.version":"1.6.0","error":{"message":"boom!"},"log.level":"info","log.origin.file.line":14,"log.origin.file.name":"/Users/liuxg/go/go-logging-logrus/logrus_caller.go","log.origin.function":"main.main","message":"hello"}

把日志写入到 Elasticsearch

  1. 按照 Filebeat 快速入门
  2. 将以下配置添加到你的 filebeat.yaml 文件中。

Filebeat 7.16+

filebeat.yaml

复制代码
filebeat.inputs:
- type: filestream  # 1
  paths: /path/to/logs.json
  parsers:
    - ndjson:
      overwrite_keys: true # 2
      add_error_key: true  # 3
      expand_keys: true    # 4

processors: # 5
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~
  1. 使用 filestream 输入从活动日志文件中读取行。
  2. 如果发生冲突,解码的 JSON 对象的值将覆盖 Filebeat 通常添加的字段(type、source、offset 等)。
  3. 如果发生 JSON 解组错误,Filebeat 将添加 "error.message" 和 "error.type: json" 键。
  4. Filebeat 将递归地从解码的 JSON 中去掉点键,并将其扩展为分层对象结构。
  5. Processors 可增强你的数据。请参阅 processors 以了解更多信息。

Filebeat < 7.16

filebeat.yaml

复制代码
filebeat.inputs:
- type: log
  paths: /path/to/logs.json
  json.keys_under_root: true
  json.overwrite_keys: true
  json.add_error_key: true
  json.expand_keys: true

processors:
- add_host_metadata: ~
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~
相关推荐
军训猫猫头11 分钟前
1.如何对多个控件进行高效的绑定 C#例子 WPF例子
开发语言·算法·c#·.net
飞询23 分钟前
Docker 安装 Elasticsearch 9
elasticsearch·docker
真的想上岸啊25 分钟前
学习C++、QT---18(C++ 记事本项目的stylesheet)
开发语言·c++·学习
明天好,会的32 分钟前
跨平台ZeroMQ:在Rust中使用zmq库的完整指南
开发语言·后端·rust
小新学习屋1 小时前
Spark从入门到熟悉(篇三)
大数据·分布式·spark
丁劲犇1 小时前
用 Turbo Vision 2 为 Qt 6 控制台应用创建 TUI 字符 MainFrame
开发语言·c++·qt·tui·字符界面·curse
rui锐rui1 小时前
大数据学习2:HIve
大数据·hive·学习
旷世奇才李先生1 小时前
Next.js 安装使用教程
开发语言·javascript·ecmascript
G皮T1 小时前
【Elasticsearch】检索高亮
大数据·elasticsearch·搜索引擎·全文检索·kibana·检索·高亮
charlie1145141912 小时前
深入理解Qt的SetWindowsFlags函数
开发语言·c++·qt·原理分析