elk:使用filebeat采集日志发送到kafka

# 安装 filebeat

下载

bash 复制代码
cd /chz/install/filebeat
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.13.4-linux-x86_64.tar.gz

解压

bash 复制代码
tar zxvf filebeat-8.13.4-linux-x86_64.tar.gz

修改配置文件

bash 复制代码
cd /chz/install/filebeat/filebeat-8.13.4-linux-x86_64
vim filebeat.yml
<<<<
filebeat.inputs:
- type: filestream
  id: my-filestream-id
  enabled: true
  paths:
    - /chz/install/elk/logs/*.log

# 将文件里面原有的output相关的内容删除,然后添加以下内容
output.kafka:
  hosts: ["192.168.44.228:9092"]
  topic: upload_from_filebeat
>>>>

启动filebeat

bash 复制代码
./filebeat -e --strict.perms=false

# 测试

进入filebeat扫描日志的目录

bash 复制代码
cd /chz/install/elk/logs

往日志文件里面写入一点数据

bash 复制代码
echo "chz ::: $(date -R)" >> a.log
echo "chz ::: $(date -R)" >> a.log
echo "chz ::: $(date -R)" >> a.log

看下之前已经准备好的kafka consumer是否收到了数据

从截图里面可以看出日志数据已经被消费到了

相关推荐
斯普信专业组5 天前
ELK 统一日志分析系统部署与实践指南(下)
运维·elk
听说唐僧不吃肉5 天前
解析ELK(filebeat+logstash+elasticsearch+kibana)日志系统原理以及k8s集群日志采集过程
elk·elasticsearch·kubernetes
斯普信专业组5 天前
ELK 统一日志分析系统部署与实践指南(上)
elk
kunwen12313 天前
ELKB日志分析平台 部署
elk·es·日志分析·beats
东皋长歌14 天前
SpringBoot集成ELK
spring boot·后端·elk
勿芮介21 天前
[微服务]ELK Stack安装与配置全指南
elk·微服务·架构
core51225 天前
基于elk实现分布式日志
分布式·elk·日志·logstash
晴子呀1 个月前
使用Springboot实现简单的ELK日志搜索系统
spring boot·后端·elk
悟能不能悟1 个月前
如何搭建ELK
elk
only_Klein1 个月前
K8S部署ELK(二):部署Kafka消息队列
elk·kafka·kubernetes