docker 安装 logstash

文章目录

Logstash基本语法组成

什么是Logstash

logstash是一个数据抽取工具,将数据从一个地方转移到另一个地方。如hadoop生态圈的sqoop等。下载地址:https://www.elastic.co/cn/downloads/logstash

logstash之所以功能强大和流行,还与其丰富的过滤器插件是分不开的,过滤器提供的并不单单是过滤的功能,还可以对进入过滤器的原始数据进行复杂的逻辑处理,甚至添加独特的事件到后续流程中。

Logstash配置文件有如下三部分组成,其中input、output部分是必须配置,filter部分是可选配置,而filter就是过滤器插件,可以在这部分实现各种日志过滤功能。

配置文件:

复制代码
input {
    #输入插件
}
filter {
    #过滤匹配插件
}
output {
    #输出插件
}

拉去镜像

因为我这里的es是7.12.1的,所以我logstash我也拉取同样版本,也自己去看版本对照表https://www.elastic.co/cn/support/matrix#matrix_compatibility

bash 复制代码
docker pull logstash:7.12.1

启动镜像

bash 复制代码
docker run \
--name logstash \
--restart=always \
-p 5044:5044 \
-p 9600:9600 \
-v logstash-config:/usr/share/logstash/config \
-v logstash-data:/usr/share/logstash/data \
-v logstash-pipeline:/usr/share/logstash/pipeline \
-d logstash:7.12.1

Logstash输入插件(input)

https://www.elastic.co/guide/en/logstash/current/input-plugins.html

1、标准输入(Stdin)

复制代码
input{
    stdin{
       
    }
}
output {
    stdout{
        codec=>rubydebug    
    }
}

2、读取文件(File)

logstash使用一个名为filewatch的ruby gem库来监听文件变化,并通过一个叫.sincedb的数据库文件来记录被监听的日志文件的读取进度(时间戳),这个sincedb数据文件的默认路径在 <path.data>/plugins/inputs/file下面,文件名类似于.sincedb_123456,而<path.data>表示logstash插件存储目录,默认是LOGSTASH_HOME/data。

复制代码
input {
    file {
        path => ["/var/*/*"]
        start_position => "beginning"
    }
}
output {
    stdout{
        codec=>rubydebug    
    }
}

默认情况下,logstash会从文件的结束位置开始读取数据,也就是说logstash进程会以类似tail -f命令的形式逐行获取数据。

相关推荐
csdn_aspnet4 小时前
Docker 啟動MySQL Server連上MySQL Workbench
mysql·docker·容器
月夏5 小时前
我把全栈项目塞进已有 nginx 的服务器,卡我最久的是三个斜杠
nginx·react.js·docker
瑞克-桑切斯21 小时前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
对象存储与RustFS1 天前
对象锁遇上版本化:删掉的对象还在,真删的又删不掉
后端·docker·云原生
遇雪长安1 天前
wslc 来了:Docker Desktop 还要留着吗?
运维·docker·容器
csdn_aspnet1 天前
【Docker 攻略】MySQL 安裝篇
运维·mysql·docker·容器
艺杯羹1 天前
ufw 已 active,Docker 端口却仍对外开放的复盘
运维·docker·容器
goehou1 天前
healthcheck 配了不生效,depends_on 默认只等容器起来
docker·容器编排·ai agent·healthcheck
木头左1 天前
【Linux运维】服务器磁盘清理与Docker日志治理实战:一次巡检释放70G空间
linux·docker·磁盘清理·日志治理
csdn_aspnet2 天前
Docker MySql 5.7、MySql8.x 进阶配置
mysql·docker·容器