Filebeat输出Kafka配置

filebeat启动

1. 前台启动：

/usr/local/fb/filebeat -e -c /usr/local/fb/filebeat.yml

2. 后台启动：

nohup /usr/local/fb/filebeat -e -c /usr/local/fb/filebeat.yml > /dev/null 2>&1 &

input 配置 && output配置

1. input配置

- type: log
  enabled: true
  paths:
    - /var/fb/log/pe.log
  fields:
    topic: "wlinfo"
  json.keys_under_root: true
  json.overwrite_keys: true

2. output配置

output.kafka:
  hosts: ["192.168.110.49:9092"]
  topic: '%{[fields.topic]}'
  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000
  max_retry: 3
  timeout: 30s

3. 启动校验
   使用 filebeat test config 和 filebeat test output 命令验证配置，确保事件结构正确。可以先用 filebeat test config 看看是否能通过配置检查。