filebeat到kafka示例

docker run -d \

--name=filebeat_7.14_0 \ #filebeat名称

--user=root \

--volume="/data/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml" \ #映射filebeat.yml配置

--volume="/data/filebeat/log:/usr/share/filebeat/log" \ #映射filebeat日志

--volume="/data/filebeat/data:/usr/share/filebeat/data" \ #映射filebeat数据

--volume="/data/log:/path/to/host/log" \ #映射主机的宿日志路径、很重要

docker.elastic.co/beats/filebeat:7.14.0 #filebeat版本

/data/filebeat:

root@xx filebeat\]# cat filebeat.yml filebeat.inputs: - type: log enabled: true paths: - /path/to/host/log/net/zb/10.1.1.1\* #真实宿主机路径是/data/log/net/zb/10.1.1.1\*的日志 fields: device_model: "test" kafka_topic: "测试-topic" #卡卡夫卡 topic #filebeat.config.modules: # path: ${path.config}/modules.d/\*.yml # reload.enabled: false #setup.template.settings: # index.number_of_shards: 1 #setup.template.enabled: true #setup.template.fields: fields.yml #setup.template.overwrite: true processors: - drop_fields: fields: \['agent', 'ecs', 'beat', 'input_type', 'tags', 'count', '@version', 'log', 'offset', 'type', 'host'

ignore_missing: false

output.kafka:

enabled: true

hosts: ["10.10.10.10:9092"] #输出到kafka中,写kafka的IP

topic: "%{[fields.kafka_topic]}"

compression: gzip

max_message_bytes: 1000000

python3测试有没有数据:

-*- coding: utf-8 -*-

import sys

import json

from kafka import KafkaConsumer #pip3 install kafka-python

for msg in KafkaConsumer('测试-topic',bootstrap_servers=['10.10.10.10:9092']):

jsonData = msg.value.decode('utf-8')

info = json.loads(jsonData)

print(info)

print(len("cmdb-crm-CRMkehuguanli-prd"))

相关推荐
亲爱的非洲野猪1 小时前
怎么理解使用MQ解决分布式事务 -- 以kafka为例
分布式·kafka
黄雪超1 小时前
Kafka——消费者组重平衡全流程解析
大数据·分布式·kafka
黄雪超1 小时前
Kafka——Kafka控制器
大数据·分布式·kafka
不辉放弃1 小时前
kafka的消息存储机制和查询机制
数据库·kafka·pyspark·大数据开发
IT闫1 小时前
《深入剖析Kafka分布式消息队列架构奥秘》之Kafka基本知识介绍
分布式·架构·kafka
Aomnitrix5 小时前
【分布式版本控制系统】Git的使用
分布式·git
conkl5 小时前
构建 P2P 网络与分布式下载系统:从底层原理到安装和功能实现
linux·运维·网络·分布式·网络协议·算法·p2p
孟婆来包棒棒糖~11 小时前
SpringCloude快速入门
分布式·后端·spring cloud·微服务·wpf
cui_win12 小时前
Kafka运维实战 14 - kafka消费者组消费进度(Lag)深入理解【实战】
分布式·kafka
梦想画家13 小时前
Apache Kafka实时数据流处理实战指南
分布式·kafka·apache