elk:使用filebeat采集日志发送到kafka

# 安装 filebeat

下载

bash 复制代码
cd /chz/install/filebeat
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.13.4-linux-x86_64.tar.gz

解压

bash 复制代码
tar zxvf filebeat-8.13.4-linux-x86_64.tar.gz

修改配置文件

bash 复制代码
cd /chz/install/filebeat/filebeat-8.13.4-linux-x86_64
vim filebeat.yml
<<<<
filebeat.inputs:
- type: filestream
  id: my-filestream-id
  enabled: true
  paths:
    - /chz/install/elk/logs/*.log

# 将文件里面原有的output相关的内容删除,然后添加以下内容
output.kafka:
  hosts: ["192.168.44.228:9092"]
  topic: upload_from_filebeat
>>>>

启动filebeat

bash 复制代码
./filebeat -e --strict.perms=false

# 测试

进入filebeat扫描日志的目录

bash 复制代码
cd /chz/install/elk/logs

往日志文件里面写入一点数据

bash 复制代码
echo "chz ::: $(date -R)" >> a.log
echo "chz ::: $(date -R)" >> a.log
echo "chz ::: $(date -R)" >> a.log

看下之前已经准备好的kafka consumer是否收到了数据

从截图里面可以看出日志数据已经被消费到了

相关推荐
AustinCien1 天前
1.4常规es报错问题
运维·elk·elasticsearch
AustinCien1 天前
3.2实验filebeat->logstash->es
运维·elk
hunao3842 天前
kibana内存溢出报错
linux·elk
AustinCien2 天前
2.3做logstash实验
运维·elk
AustinCien2 天前
2.部署kafka:9092
elk·zookeeper·kafka
AustinCien2 天前
deepseek部署:ELK + Filebeat + Zookeeper + Kafka
elk·zookeeper·kafka
Swift社区2 天前
高并发微服务日志管理:ELK、Loki、Fluentd 终极对决与实战指南
后端·elk·微服务·云原生·架构
陆鳐LuLu5 天前
日志管理利器:基于 ELK 的日志收集、存储与可视化实战
运维·elk·jenkins
程序猿熊跃晖5 天前
多环境日志管理:使用Logback与Logstash集成实现高效日志处理
spring boot·elk·logback
Swift社区5 天前
【微服务优化】ELK日志聚合与查询性能提升实战指南
spring·elk·微服务·云原生·架构