Filebeat输出Kafka配置

filebeat启动

  1. 前台启动:
bash 复制代码
/usr/local/fb/filebeat -e -c /usr/local/fb/filebeat.yml
  1. 后台启动:
bash 复制代码
nohup /usr/local/fb/filebeat -e -c /usr/local/fb/filebeat.yml > /dev/null 2>&1 &

input 配置 && output配置

  1. input配置
yaml 复制代码
- type: log
  enabled: true
  paths:
    - /var/fb/log/pe.log
  fields:
    topic: "wlinfo"
  json.keys_under_root: true
  json.overwrite_keys: true
  1. output配置
yaml 复制代码
output.kafka:
  hosts: ["192.168.110.49:9092"]
  topic: '%{[fields.topic]}'
  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000
  max_retry: 3
  timeout: 30s
  1. 启动校验
    使用 filebeat test config 和 filebeat test output 命令验证配置,确保事件结构正确。可以先用 filebeat test config 看看是否能通过配置检查。
相关推荐
AI源码3 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
goehou21 小时前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
国科安芯1 天前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence1 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626122 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi2 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding2 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
stark张宇3 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛3 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人3 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构