ELK之LogStash介绍及安装配置

一、logstash简介

  1. 集中、转换和存储数据

    Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的"存储库"中。

    Logstash 能够动态地采集、转换和传输数据,不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构,从 IP 地址解码出地理坐标,匿名化或排除敏感字段,并简化整体处理过程。

    数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便进行更强大的分析和实现商业价值。

  2. Logstash 能够动态地转换和解析数据,不受格式或复杂度的影响:

    利用 Grok 从非结构化数据中派生出结构

    从 IP 地址破译出地理坐标

    将 PII 数据匿名化,完全排除敏感字段

    简化整体处理,不受数据源、格式或架构的影响.

  3. 选择您的存储库,导出您的数据

    尽管 Elasticsearch 是我们的首选输出方向,能够为我们的搜索和分析带来无限可能,但它并非唯一选择。

    Logstash 提供众多输出选择,您可以将数据发送到您要指定的地方,并且能够灵活地解锁众多下游用例。

  4. Logstash 采用可插拔框架,拥有 200 多个插件。您可以将不同的输入选择、过滤器和输出选择混合搭配、精心安排,让它们在管道中和谐地运行。

二、下载安装Logstash

下载地址:https://www.elastic.co/cn/downloads/past-releases/logstash-7-17-4

解压

bash 复制代码
tar -zxvf logstash-7.17.4-linux-x86_64.tar.gz

# 解压后:
[root@nb002 logstash-7.17.4]# ll
总用量 476
drwxr-xr-x 2 root root    4096 6月  26 07:37 bin
drwxr-xr-x 2 root root     142 6月  26 07:37 config
-rw-r--r-- 1 root wheel   2276 5月  18 23:31 CONTRIBUTORS
drwxr-xr-x 2 root wheel      6 5月  18 23:31 data
-rw-r--r-- 1 root wheel   4050 5月  18 23:31 Gemfile
-rw-r--r-- 1 root wheel  28942 5月  18 23:31 Gemfile.lock
drwxr-xr-x 9 root root     121 6月  26 07:37 jdk
drwxr-xr-x 6 root root      84 6月  26 07:37 lib
-rw-r--r-- 1 root wheel  13675 5月  18 23:31 LICENSE.txt
drwxr-xr-x 4 root root      90 6月  26 07:37 logstash-core
drwxr-xr-x 3 root root      86 6月  26 07:37 logstash-core-plugin-api
drwxr-xr-x 4 root root      55 6月  26 07:37 modules
-rw-r--r-- 1 root wheel 424030 5月  18 23:31 NOTICE.TXT
drwxr-xr-x 3 root root      30 6月  26 07:37 tools
drwxr-xr-x 4 root root      33 6月  26 07:37 vendor
drwxr-xr-x 9 root root     193 6月  26 07:37 x-pack

启动,接收控制台的输入,并输出到控制台

bash 复制代码
 ./logstash -e 'input{stdin{type => stdin}} output{stdout{codec => rubydebug}}'

完整启动日志如下,Successfully started Logstash API endpoint {:port=>9600, :ssl_enabled=>false}

然后,我们在控制台输入,也会有响应的输出打印到控制台,如下:

host:主机名称

@timestamp:处理消息的时间

message:消息本身,接收输入的内容

type:输入类型

三、以配置文件方式启动Logstash

3.1 在config目录下新建first-pipeline.conf文件, 内容如下:

bash 复制代码
input{
  stdin{type => stdin}
}

output{
  stdout{codec => rubydebug}
}

3.2 然后以配置文件启动:

bash 复制代码
./logstash -f ../config/first-pipeline.conf

然后我们在控制台中输入一条日志消息:发现OK

END

相关推荐
qq_2739002311 分钟前
CentOS系统防火墙服务介绍
linux·运维·centos
小灰灰__1 小时前
Linux安装ffmpeg7.1操作说明
linux·运维·服务器
互联网搬砖老肖1 小时前
运维打铁:Centos 7 安装 redis_exporter 1.3.5
运维·redis·centos
BXCQ_xuan2 小时前
Typecho博客网站头部SEO优化完整指南
运维·服务器·数据库·php·web
鱼饼6号3 小时前
Jenkins Pipeline 构建 CI/CD 流程
linux·运维·服务器·ci/cd·容器·jenkins
国际云,接待4 小时前
[特殊字符]服务器性能优化:从硬件到AI的全栈调优指南
运维·服务器·人工智能·阿里云·性能优化·架构·云计算
阿巴~阿巴~4 小时前
云服务器 —— 公有 IP 与 私有 IP
运维·服务器·tcp/ip
程序猿(雷霆之王)4 小时前
Linux——动静态库
linux·运维·服务器
JhonKI4 小时前
【Linux网络】打造初级网络计算器 - 从协议设计到服务实现
linux·运维·网络
敖云岚5 小时前
【Linux】Centos7 安装 Docker 详细教程
linux·运维·服务器