ELK之路第三步——日志收集筛选logstash和filebeat

logstash和filebeat(偷懒版)

前言

上一篇,我们说到了可视化界面Kibana的安装,这一篇,会简单介绍logstash和filebeat的安装和配置。

下一篇,我将融会贯通,将所有的内容结合到一起详细说明:ELK之路第四步------整合!打通任督二脉

logstash

1.下载

打开官网:https://www.elastic.co/cn/downloads/logstash,进去后是最新版本,如果我们要过往版本请点击右侧,需要梯子。

我们这里还是选择7.3.0版本。

下载好后解压

bash 复制代码
tar -zxvf logstash-7.3.0.tar.gz

2.修改配置文件

打开jvm.options

还是先修改启动内存,这个根据你自己来定

bash 复制代码
-Xms256m
-Xmx256m

3.测试启动

bash 复制代码
bin/logstash -e 'input { stdin { } } output { stdout {} }'

等启动完成后,我们输入hello world

显示这个就成功了

4.文件启动

当然,我们常用配置文件来启动,创建一个logstash.conf文件:

bash 复制代码
input {
  heartbeat {
    interval => 10
    type => "heartbeat"
  }
}
 
output {
  stdout {
    codec => rubydebug
  }
}

然后输入命令来启动

bash 复制代码
bin/logstash -f logstash.conf

logstash的conf文件有三大主要配置字段:

  • input :规定了从哪里输入
  • filter :过滤规则,用于过滤筛选输入的信息
  • output :输出到哪里

filebeat

1.下载

有条件的用curl 下载,但是在国内这样下载是很困难的

bash 复制代码
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-linux-x86_64.tar.gz

第二种方式去官网下载,挂个梯子就行。

下载好了解压:

bash 复制代码
tar -zxvf filebeat-7.3.0-linux-x86_64.tar.gz

2.配置

新增一个配置文件filebeat_logstash.yml,filebeat启动的时候要用

bash 复制代码
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /Users/liuxg/data/apache_logs
 
output.logstash:
  hosts: ["localhost:5044"]
  • filebeat.inputs:filebeat读取文件的一些配置
  • output.logstash:输出路径

3.启动

bash 复制代码
bin/filebeat -e -c filebeat_logstash.yml

因为时间有限,本篇属实潦草,后面有时间了,我会详细的补充这两个技术的用法。

相关推荐
總鑽風9 天前
搭建Spring Boot + ELK日志平台,实现可视化日志监控
spring boot·elk·macos
七七powerful9 天前
运维养龙虾--使用workbuddy专家模式一句话部署ELK 日志分析平台
elk·workbuddy
人间打气筒(Ada)12 天前
「码动四季·开源同行」go语言:如何使用 ELK 进行日志采集以及统一处理?
开发语言·分布式·elk·go·日志收集·分布式日志系统
艾伦_耶格宇12 天前
【ELK】-1 ELK的简要介绍
elk
尽兴-17 天前
微服务日志采集与分析系统实战:ELK 架构全解析与落地
elk·微服务·架构·kibana·es·logstash·filebeat
泡沫·25 天前
ELK 企业日志分析系统核心总结
elk
我爱学习好爱好爱25 天前
ELK 7.17.10 收集Docker Compose部署的SpringBoot2+Vue3项目日志(Rockylinux9.6)
elk·docker·容器
我爱学习好爱好爱1 个月前
ELK 7.17.10 + Redis 5.0.7 构建高可用 Nginx 日志收集系统(Rocky Linux 9.6 实战)
redis·nginx·elk
我爱学习好爱好爱1 个月前
ELK日志分析平台(五):Filebeat 部署与 Nginx 日志采集(输出至 Logstash)(基于Rocky Linux 9.6)
linux·nginx·elk
我爱学习好爱好爱1 个月前
ELK日志分析平台(三):Logstash 7.17.10 独立节点部署与基础测试(基于Rocky Linux 9.6)
linux·python·elk