elk:使用filebeat采集日志发送到kafka

# 安装 filebeat

下载

bash 复制代码
cd /chz/install/filebeat
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.13.4-linux-x86_64.tar.gz

解压

bash 复制代码
tar zxvf filebeat-8.13.4-linux-x86_64.tar.gz

修改配置文件

bash 复制代码
cd /chz/install/filebeat/filebeat-8.13.4-linux-x86_64
vim filebeat.yml
<<<<
filebeat.inputs:
- type: filestream
  id: my-filestream-id
  enabled: true
  paths:
    - /chz/install/elk/logs/*.log

# 将文件里面原有的output相关的内容删除,然后添加以下内容
output.kafka:
  hosts: ["192.168.44.228:9092"]
  topic: upload_from_filebeat
>>>>

启动filebeat

bash 复制代码
./filebeat -e --strict.perms=false

# 测试

进入filebeat扫描日志的目录

bash 复制代码
cd /chz/install/elk/logs

往日志文件里面写入一点数据

bash 复制代码
echo "chz ::: $(date -R)" >> a.log
echo "chz ::: $(date -R)" >> a.log
echo "chz ::: $(date -R)" >> a.log

看下之前已经准备好的kafka consumer是否收到了数据

从截图里面可以看出日志数据已经被消费到了

相关推荐
S-X-S3 天前
ELK模块封装starter
elk
运维实战课程9 天前
elk(都是6.2.4重点-版本2-收集nginx日志并分析绘图(单点es,redis缓存)-无filebeat
nginx·elk·缓存
橘子在努力10 天前
【橘子ES】使用docker搭建ELK环境
elk·elasticsearch·docker
纸飞机√※10 天前
windows下部署安装 ELK,nginx,tomcat日志分析
windows·nginx·elk·tomcat
ccnnlxc10 天前
日志收集Day005
elk
龙胖不下锅12 天前
elk 安装
elk
小诺大人12 天前
【超详细】ELK实现日志采集(日志文件、springboot服务项目)进行实时日志采集上报
spring boot·后端·elk·logstash
小馋喵知识杂货铺12 天前
ELK介绍
elk
S-X-S12 天前
项目集成ELK
java·开发语言·elk
飞的肖12 天前
日志(elk stack)基础语法学习,零基础学习
学习·elk