filebeat到kafka示例

docker run -d \

--name=filebeat_7.14_0 \ #filebeat名称

--user=root \

--volume="/data/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml" \ #映射filebeat.yml配置

--volume="/data/filebeat/log:/usr/share/filebeat/log" \ #映射filebeat日志

--volume="/data/filebeat/data:/usr/share/filebeat/data" \ #映射filebeat数据

--volume="/data/log:/path/to/host/log" \ #映射主机的宿日志路径、很重要

docker.elastic.co/beats/filebeat:7.14.0 #filebeat版本

/data/filebeat:

root@xx filebeat\]# cat filebeat.yml filebeat.inputs: - type: log enabled: true paths: - /path/to/host/log/net/zb/10.1.1.1\* #真实宿主机路径是/data/log/net/zb/10.1.1.1\*的日志 fields: device_model: "test" kafka_topic: "测试-topic" #卡卡夫卡 topic #filebeat.config.modules: # path: ${path.config}/modules.d/\*.yml # reload.enabled: false #setup.template.settings: # index.number_of_shards: 1 #setup.template.enabled: true #setup.template.fields: fields.yml #setup.template.overwrite: true processors: - drop_fields: fields: \['agent', 'ecs', 'beat', 'input_type', 'tags', 'count', '@version', 'log', 'offset', 'type', 'host'

ignore_missing: false

output.kafka:

enabled: true

hosts: ["10.10.10.10:9092"] #输出到kafka中,写kafka的IP

topic: "%{[fields.kafka_topic]}"

compression: gzip

max_message_bytes: 1000000

python3测试有没有数据:

-*- coding: utf-8 -*-

import sys

import json

from kafka import KafkaConsumer #pip3 install kafka-python

for msg in KafkaConsumer('测试-topic',bootstrap_servers=['10.10.10.10:9092']):

jsonData = msg.value.decode('utf-8')

info = json.loads(jsonData)

print(info)

print(len("cmdb-crm-CRMkehuguanli-prd"))

相关推荐
jackaroo202011 小时前
后端_Redis 分布式锁实现指南
数据库·redis·分布式
00后程序员张11 小时前
RabbitMQ核心机制
java·大数据·分布式
爱吃烤鸡翅的酸菜鱼14 小时前
深度掌握 Git 分支体系:从基础操作到高级策略与实践案例
分布式·git·后端·gitee·github
yenggd16 小时前
vxlan-bgp-evnp分布式网关配置案例
网络·分布式·华为
程序_白白1 天前
RabbitMQ中Consumer的可靠性
分布式·rabbitmq
東雪蓮☆1 天前
Filebeat+Kafka+ELK 日志采集实战
分布式·elk·kafka
努力买辣条1 天前
KafKa概念与安装
分布式·kafka
不太可爱的叶某人1 天前
【学习笔记】kafka权威指南——第8章 跨集群数据镜像(7-10章只做了解)
笔记·学习·kafka
Lansonli1 天前
大数据Spark(六十七):Transformation转换算子distinct和mapValues
大数据·分布式·spark
失散131 天前
分布式专题——35 Netty的使用和常用组件辨析
java·分布式·架构·netty