Filebeat 在windows环境部署并结合kafka使用

需要读取已有日志结合kafka使用

一、下载

官网下载Download Filebeat • Lightweight Log Analysis | Elastic

直接点击下载

二、安装

找到下载包进行运行会自动安装,一直下一步就好,

找到安装目录内,如...\Beats\9.4.0\filebeat

三、修改配置

复制示例文件: 在filebeat目录下,复制filebeat.example.yml文件,并将新文件命名为filebeat.yml

命令:copy filebeat.example.yml filebeat.yml

修改 filebeat.yml

1、指定日志采集源 (filebeat.inputs): 告诉Filebeat需要读取哪些日志文件。首先,需要找到配置文件中的 filebeat.inputs 部分。接着,将 paths 的配置改为你的访问日志路径

复制代码
filebeat.inputs:
- type: filestream  
  enabled: true
  id: nginx-filestream      
  enabled: true
  paths:
    - C:\\nginx\\logs\\access.log

2、设置输出目标 (output.kafka): 告诉Filebeat处理后的日志要发往哪里。需要找到 output.kafka 部分,并取消注释、按需填写。

复制代码
output.kafka:
  enabled: true
  hosts: ["localhost:9092"]
  topic: "nginx-logs"
  version: "2.2.0"

注意:不要添加其他 output.xxx 块

如果有 output.console,请注释掉或删除:

output.console:

enabled: true

pretty: true

3、修改完成后,运行测试命令:

\filebeat.exe test config -c filebeat.yml

正确输出 Config OK

4、启动 Filebeat

.\filebeat.exe -c filebeat.yml -e

相关推荐
Lansonli6 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
bksczm1 天前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
txxzjmzlh1 天前
RabbitMQ安装
分布式·rabbitmq
用户3610588626121 天前
Kafka源码深度剖析:KafkaProducer最终如何处理响应
kafka
AI源码1 天前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
goehou2 天前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
国科安芯2 天前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence2 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626123 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi3 天前
Kafka消息中间件单机版安装配置
分布式·kafka