elk:使用filebeat采集日志发送到kafka

# 安装 filebeat

下载

bash 复制代码
cd /chz/install/filebeat
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.13.4-linux-x86_64.tar.gz

解压

bash 复制代码
tar zxvf filebeat-8.13.4-linux-x86_64.tar.gz

修改配置文件

bash 复制代码
cd /chz/install/filebeat/filebeat-8.13.4-linux-x86_64
vim filebeat.yml
<<<<
filebeat.inputs:
- type: filestream
  id: my-filestream-id
  enabled: true
  paths:
    - /chz/install/elk/logs/*.log

# 将文件里面原有的output相关的内容删除,然后添加以下内容
output.kafka:
  hosts: ["192.168.44.228:9092"]
  topic: upload_from_filebeat
>>>>

启动filebeat

bash 复制代码
./filebeat -e --strict.perms=false

# 测试

进入filebeat扫描日志的目录

bash 复制代码
cd /chz/install/elk/logs

往日志文件里面写入一点数据

bash 复制代码
echo "chz ::: $(date -R)" >> a.log
echo "chz ::: $(date -R)" >> a.log
echo "chz ::: $(date -R)" >> a.log

看下之前已经准备好的kafka consumer是否收到了数据

从截图里面可以看出日志数据已经被消费到了

相关推荐
Long_poem2 天前
【自学笔记】ELK基础知识点总览-持续更新
笔记·elk·jenkins
奔跑吧邓邓子5 天前
【商城实战(97)】ELK日志管理系统的全面应用
elk·日志管理系统·商城实战
yunqi12156 天前
【监控系列】ELK
elk
北枫寒夜7 天前
简单ELK框架搭建
elk
DS_Watson14 天前
docker 部署elk 设置账号密码
linux·elk·docker
落魄实习生16 天前
ELK(Elasticsearch、Logstash、Kbana)安装及Spring应用
spring·elk·elasticsearch
1 Byte17 天前
【微服务日志收集①】使用FileBeat+Logstash+ES搭建ELK日志系统
elk·elasticsearch·日志收集系统
戏神19 天前
ELK+Filebeat+Kafka+Zookeeper安装部署
nginx·elk·zookeeper·kafka·filebeat·集群部署·分布式系统
C1829818257519 天前
ELK traceId 通过A服务调用B服务举例
hive·hadoop·elk
WeiLai111221 天前
面试基础---实时日志分析系统设计深度解析:ELK + Kafka + Flink
java·分布式·后端·elk·面试·架构·kafka