Logstash 介绍
-
Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发 送到您最喜欢的一个或多个"存储库"中
-
Logstash 可以水平伸缩，而且logstash是整个ELK中拥有最多插件的一个组件
-
Logstash 基于 Java 和 Ruby 语言开发
Logstash 官网:
Logstash 官方说明
Logstash Reference [7.6] | Elastic
https://www.elastic.co/guide/en/logstash/7.6/index.html
Logstash 架构：
-
输入 Input：用于日志收集,常见插件: Stdin、File、Kafka、Redis、Filebeat、Http
-
过滤 Filter：日志过滤和转换,常用插件: grok、date、geoip、mutate、useragent
-
输出 Output：将过滤转换过的日志输出, 常见插件: File,Stdout,Elasticsearch,MySQL,Redis,Kafka
Logstash 和 Filebeat 比较
-
Logstash 功能更丰富,可以支持直接将非Josn 格式的日志统一转换为Json格式,且支持多目标输出,和filebeat相比有更为强大的过滤转换功能
-
Logstash 资源消耗更多,不适合在每个日志主机上安装
Logstash 安装
安装要求
安装方法
可以支持下面安装方法
-
二进制
-
包仓库
-
Docker 容器
环境准备安装 Java 环境
注意: 新版logstash包已经内置了JDK无需安装
新版 Logstash 要求 JAVA 要求 11和17
https://www.elastic.co/guide/en/logstash/current/getting-started-withlogstash.html
Ubuntu 环境准备
#8.X要求安装JDK11或17,新版logstash包已经内置了JDK无需安装
[root@logstash ~]#apt update && apt -y install openjdk-17-jdk
[root@logstash ~]#apt update && apt -y install openjdk-11-jdk
#7.X 要求安装JDK8
[root@logstash ~]#apt -y install openjdk-8-jdkCentOS 环境准备
关闭防火墙和 SELinux
[root@logstash ~]# systemctl disable --now firewalld
[root@logstash ~]# sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config
[root@logstash ~]# setenforce 0安装 Java 环境
#安装oracle 的JDK
[root@logstash ~]# yum install jdk-8u121-linux-x64.rpm
[root@logstash ~]# java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)
#或者安装OpenJDK
[root@logstash ~]# yum -y install java-1.8.0-openjdk
[root@logstash ~]# java -version
openjdk version "1.8.0_302"
OpenJDK Runtime Environment (build 1.8.0_302-b08)
OpenJDK 64-Bit Server VM (build 25.302-b08, mixed mode)安装 Logstash
注意: Logstash 版本要和 Elasticsearch 相同的版本，否则可能会出错
Logstash 官方下载链接
https://www.elastic.co/cn/downloads/logstash
https://www.elastic.co/cn/downloads/past-releases#logstash镜像网站下载链接
Ubuntu 安装 Logstash
范例：包安装
[root@logstash ~]#wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/8.x/apt/pool/main/l/logstash/logstash-8.6.1-amd64.deb
[root@logstash ~]#dpkg -i logstash-8.6.1-amd64.deb
[root@logstash ~]#systemctl enable --now logstash.service
[root@logstash ~]#systemctl enable --now logstash.service
#生成专有用户logstash,以此用户启动服务,后续使用时可能会存在权限问题
[root@logstash ~]#id logstash
用户id=998(logstash) 组id=999(logstash) 组=999(logstash)
[root@logstash ~]#ps aux|grep logstashRHEL系列安装 Logstash
范例: 包安装
[root@logstash ~]#wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.6.2/logstash-7.6.2.rpm
[root@logstash ~]#yum install logstash-7.6.2.rpm
[root@logstash ~]#chown logstash.logstash /usr/share/logstash/data/queue --R #权限更改为logstash用户和组，否则启动的时候日志报错修改 Logstash 配置(可选)
#默认配置可以不做修改
[root@logstash ~]#vim /etc/logstash/logstash.yml
[root@logstash ~]#grep -Ev '#|^$' /etc/logstash/logstash.yml
node.name: logstash-node01
pipeline.workers: 2
pipeline.batch.size: 1000 #批量从IPNPUT读取的消息个数，可以根据ES的性能做性能优化
pipeline.batch.delay: 5 #处理下一个事件前的最长等待时长，以毫秒ms为单位,可以根据ES的性能做性能优化
path.data: /var/lib/logstash #默认值
path.logs: /var/log/logstash #默认值
#内存优化
[root@logstash ~]#vim /etc/logstash/jvm.options
-Xms1g
-Xmx1g
#Logstash默认以logstash用户运行,如果logstash需要收集本机的日志,可能会有权限问题,可以修改为root
[root@logstash ~]#vim /etc/systemd/system/logstash.service
[Service]
User=root
Group=root
#子配置文件路径
[root@logstash ~]#cat /etc/logstash/pipelines.yml
# This file is where you define your pipelines. You can define multiple.
# For more information on multiple pipelines, see the documentation:
# https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html
- pipeline.id: main
path.config: "/etc/logstash/conf.d/*.conf"
[root@logstash ~]#systemctl daemon-reload;systemctl restart logstash