elk:使用filebeat采集日志发送到kafka

# 安装 filebeat

下载

bash 复制代码
cd /chz/install/filebeat
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.13.4-linux-x86_64.tar.gz

解压

bash 复制代码
tar zxvf filebeat-8.13.4-linux-x86_64.tar.gz

修改配置文件

bash 复制代码
cd /chz/install/filebeat/filebeat-8.13.4-linux-x86_64
vim filebeat.yml
<<<<
filebeat.inputs:
- type: filestream
  id: my-filestream-id
  enabled: true
  paths:
    - /chz/install/elk/logs/*.log

# 将文件里面原有的output相关的内容删除,然后添加以下内容
output.kafka:
  hosts: ["192.168.44.228:9092"]
  topic: upload_from_filebeat
>>>>

启动filebeat

bash 复制代码
./filebeat -e --strict.perms=false

# 测试

进入filebeat扫描日志的目录

bash 复制代码
cd /chz/install/elk/logs

往日志文件里面写入一点数据

bash 复制代码
echo "chz ::: $(date -R)" >> a.log
echo "chz ::: $(date -R)" >> a.log
echo "chz ::: $(date -R)" >> a.log

看下之前已经准备好的kafka consumer是否收到了数据

从截图里面可以看出日志数据已经被消费到了

相关推荐
東雪蓮☆2 天前
Filebeat+Kafka+ELK 日志采集实战
分布式·elk·kafka
虚伪的空想家12 天前
K8S部署的ELK分片问题解决,报错:unexpected error while indexing monitoring document
运维·elk·云原生·容器·kubernetes·报错·eck
三坛海会大神55513 天前
ELK分析系统详解
运维·elk
東雪蓮☆14 天前
ELK 企业级日志分析系统实战教程
linux·运维·elk
zcz160712782115 天前
从 ZooKeeper 到 ELK:分布式中间件与日志分析系统全解析
分布式·elk·zookeeper
weixin_5078479515 天前
ELK企业级日志分析系统
elk
运维成长记15 天前
ELK大总结20250922
elk
会飞的鱼_12315 天前
企业级日志分析利器:ELK Stack从入门到实战部署
运维·elk
荣光波比16 天前
ELK企业级日志分析系统详解:从入门到部署实践
运维·elk·云计算
摘星编程25 天前
Linux 日志分析:用 ELK 搭建个人运维监控平台
linux·运维·elk·系统监控·性能优化维监