elk:使用filebeat采集日志发送到kafka

# 安装 filebeat

下载

bash 复制代码
cd /chz/install/filebeat
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.13.4-linux-x86_64.tar.gz

解压

bash 复制代码
tar zxvf filebeat-8.13.4-linux-x86_64.tar.gz

修改配置文件

bash 复制代码
cd /chz/install/filebeat/filebeat-8.13.4-linux-x86_64
vim filebeat.yml
<<<<
filebeat.inputs:
- type: filestream
  id: my-filestream-id
  enabled: true
  paths:
    - /chz/install/elk/logs/*.log

# 将文件里面原有的output相关的内容删除,然后添加以下内容
output.kafka:
  hosts: ["192.168.44.228:9092"]
  topic: upload_from_filebeat
>>>>

启动filebeat

bash 复制代码
./filebeat -e --strict.perms=false

# 测试

进入filebeat扫描日志的目录

bash 复制代码
cd /chz/install/elk/logs

往日志文件里面写入一点数据

bash 复制代码
echo "chz ::: $(date -R)" >> a.log
echo "chz ::: $(date -R)" >> a.log
echo "chz ::: $(date -R)" >> a.log

看下之前已经准备好的kafka consumer是否收到了数据

从截图里面可以看出日志数据已经被消费到了

相关推荐
yuzhangfeng4 天前
【日志体系】ELK Stack与云原生日志服务
elk·云原生·云计算
小黑蛋学java11 天前
Elasticsearch 官网阅读学习笔记01
elk·学习笔记
码农不屈的一生13 天前
docker部署elk
运维·elk
MarkHD14 天前
第十八天 - ELK日志体系集成 - 自定义Logstash插件 - 练习:分布式日志分析平台
分布式·elk
小黑蛋学java14 天前
Elasticsearch 学习规划
elk
小黑蛋学java16 天前
Elasticsearch中的基本全文搜索和过滤
elk
小黑蛋学java17 天前
Elasticsearch单节点安装手册
elk
小黑蛋学java17 天前
Elasticearch数据流向
elk
butiehua020219 天前
PHP 项目搭建 ELK 日志监控体系完整指南
elk
Long_poem25 天前
【自学笔记】ELK基础知识点总览-持续更新
笔记·elk·jenkins