logstash日志换行处理小解

logstash主用于日志实时数据收集、解析,并将数据转发的工具,内置的功能也相当强大。但,同时意味着,他可能接收到各种情况的数据。

此处,我们主要讲解我实际使用中,碰到的一个小问题,换行(\n)。

logstash的换行处理,可以有多种方式,比如如imultiline,可以将多行合并之类的,这种适合input 直接读取文件。

但有时,你接收到的消息内容,即某个字段的内容,本身已经是换行的内容,经过input的转换后,加上了转义符,换行变成\\n。

这里举例我实际碰到的环境:kafka+logstash+elasticsearch

kafka采集到的数据,已经是一条完整的数据,如:

html 复制代码
2023/08/10 09:15:26 main.go:20 E! 测试多行日志记录
第二行日志,需要合并
第三行也要合并

logstash.conf配置如下:

bash 复制代码
input {
	kafka {
		bootstrap_servers => "kafka.test.com"
		topics => ["test"]
	}
}

filter {
	json {
		source => "message" #原mesage字段为json格式的字符串,转换成json数据
	}
	grok{
        match => ["message", "%{DATE:date} %{TIME:time} %{DATA:logclass}: %{DATA:loglevel}! %{GREEDYDATA:msg}"] 
    }
	mutate {
		add_field => {"logdate" => "%{date} %{time}"} # 新增字段,多字段字符串组合成新字段logdate
		remove_field => ["date","time"]
	}
}

output {
	elasticsearch {
		hosts => ["http://elasticsearch:9200"]
		index => "testlog"
	}
}

此时kibana上查看到的数据是在原本换行的地方变成\n。因为kafka在接到到换行的数据时会转成\n或\n\t。而logstash在接收到kafka的数据时,会当成字符串,自动加上转义符,要正常显示换行,需要把\\n 替换成\n。

网上找了一堆相关资料,说的的方法是没错,但就是没有效果,如

html 复制代码
filter {
 mutate {
          gsub => ["message","\\n",""] 
          # 显式的采用此种方法替换
}

因为logstash会把"\\n"当成是有转义符处理,即\n,也即实际的换行。所以"\\n"其实替换的是实际的换行,实际已经可以换行的数据,替换成空字符。

如果要es中显示的\n,变成实际换行显示,需要以下配置:

html 复制代码
filter {
 mutate {
    gsub => ["message","\\\\n","\n"] 
    # 字符替换 ,将\\n 替换成 \n; "\\\\n"需要增加转义符。
          
}

最终es显示效果如下:

相关推荐
wuyk55536 分钟前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
新*2 小时前
Elasticsearch 索引别名入门:创建、路由、原子切换与几个常见误解
运维·后端·elasticsearch·索引别名
wuyk5553 小时前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
筑梦之人3 小时前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
筑梦之人4 小时前
Elasticsearch 9.x 从入门到精通(4/7):聚合分析与文本分析
大数据·elasticsearch·jenkins
Elasticsearch2 天前
过犹不及:为什么搜索结果重排序时,20 个候选结果胜过 200 个
elasticsearch
wno7042 天前
常用的Git命令清单
大数据·git·elasticsearch
YIN_尹3 天前
【git原理与使用】git基本操作及底层原理(二)
大数据·git·elasticsearch
Elasticsearch3 天前
从结账告警到故障跨度:使用 Elastic 人工智能 agent 和 Elastic 应用性能监控浮出面板开展调查
elasticsearch
Elasticsearch3 天前
认识全新的 Elastic 数据流:面向遥测数据的托管数据管道
elasticsearch