使用elasticsearch 8.4.3 的管道解析日志(kibana操作)

使用elasticsearch的管道解析日志(kibana操作)

    • [一. 什么是 pipeline](#一. 什么是 pipeline)
    • [二. 案例](#二. 案例)

前言

这是我在这个网站整理的笔记,有错误的地方请指出,关注我,接下来还会持续更新。

作者:神的孩子都在歌唱

以下是一个简单的文档解析案例,更多的操作解析可以看 : 官方文档

一. 什么是 pipeline

管道可让您在插入数据之前 对数据执行常见转换。例如,您可以使用管道删除字段、从文本中提取值以及丰富数据。

管道由一系列称为 处理器 的可配置任务组成。每个处理器按顺序运行,对传入文档进行特定更改。处理器运行后,Elasticsearch 将转换后的文档添加到您的索引中。

二. 案例

比如我的文档数据如下,是一个json字符串,我想在它插入的时候转成json插入,这时候就可以用到管道

css 复制代码
"{\"status\":true,\"log_type\":[\"system\",\"access_log\",\"security_log\"]}"

首先我们创建一个 test_pipline 管道

json 复制代码
PUT _ingest/pipeline/test_pipline
{
  "description": "提取消息",
  "processors": [
    {
      "json": {
        "field": "message",
        "target_field": "data"
      }
    }
  ]
}

也可以通过kibana的页面操作,首先进入到Stack Management > Ingest Pipelines 页面,点击 Create pipeline -> Add a processor -> Save pipeline 就可以了

我们的管道创建好了,接下来插入文档数据测试

首先我们插入一条没经过管道的数据

json 复制代码
POST /customer/_doc
{
  "message":"{\"status\":true,\"log_type\":[\"system\",\"access_log\",\"security_log\"]}"
}

GET /customer/_search
{
 "query": {
 "match_all": {}
 } 
}

然后在插入一条经过管道的

json 复制代码
POST /customer/_doc?pipeline=test_pipline
{
  "message":"{\"status\":true,\"log_type\":[\"system\",\"access_log\",\"security_log\"]}"
}

再次查询发现输出的第二条日志有一个data字段,里面就是我们通过message转成json后的值

作者:神的孩子都在歌唱

本人博客:https://blog.csdn.net/weixin_46654114

转载说明:务必注明来源,附带本人博客连接。

相关推荐
顧棟1 小时前
【ES实战】 索引模板「可追溯、可校验」:一种模板治理的工程化思路
java·数据库·elasticsearch
用户46043852250862 小时前
关于paimon-rust 数据写入链路
大数据
数字融合3 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
演艺大赏4 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
知行产研4 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
演艺大赏4 小时前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
Databend5 小时前
活动邀请函|AI 时代的湖仓实践,从应用场景到 Cloud Agent 上手
大数据·数据库·agent
新*6 小时前
520 万数据迁移实战:Elasticsearch 索引重建与"改名"的完整踩坑记录
python·mysql·elasticsearch·数据迁移
阿里云大数据AI技术21 小时前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
数字新视界21 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统