filebeat到kafka示例

docker run -d \

--name=filebeat_7.14_0 \ #filebeat名称

--user=root \

--volume="/data/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml" \ #映射filebeat.yml配置

--volume="/data/filebeat/log:/usr/share/filebeat/log" \ #映射filebeat日志

--volume="/data/filebeat/data:/usr/share/filebeat/data" \ #映射filebeat数据

--volume="/data/log:/path/to/host/log" \ #映射主机的宿日志路径、很重要

docker.elastic.co/beats/filebeat:7.14.0 #filebeat版本

/data/filebeat:

root@xx filebeat\]# cat filebeat.yml filebeat.inputs: - type: log enabled: true paths: - /path/to/host/log/net/zb/10.1.1.1\* #真实宿主机路径是/data/log/net/zb/10.1.1.1\*的日志 fields: device_model: "test" kafka_topic: "测试-topic" #卡卡夫卡 topic #filebeat.config.modules: # path: ${path.config}/modules.d/\*.yml # reload.enabled: false #setup.template.settings: # index.number_of_shards: 1 #setup.template.enabled: true #setup.template.fields: fields.yml #setup.template.overwrite: true processors: - drop_fields: fields: \['agent', 'ecs', 'beat', 'input_type', 'tags', 'count', '@version', 'log', 'offset', 'type', 'host'

ignore_missing: false

output.kafka:

enabled: true

hosts: ["10.10.10.10:9092"] #输出到kafka中,写kafka的IP

topic: "%{[fields.kafka_topic]}"

compression: gzip

max_message_bytes: 1000000

python3测试有没有数据:

-*- coding: utf-8 -*-

import sys

import json

from kafka import KafkaConsumer #pip3 install kafka-python

for msg in KafkaConsumer('测试-topic',bootstrap_servers=['10.10.10.10:9092']):

jsonData = msg.value.decode('utf-8')

info = json.loads(jsonData)

print(info)

print(len("cmdb-crm-CRMkehuguanli-prd"))

相关推荐
William一直在路上1 小时前
主流分布式中间件及其选型
分布式·中间件
茫茫人海一粒沙1 小时前
理解 Confluent Schema Registry:Kafka 生态中的结构化数据守护者
分布式·kafka
weixin_438335401 小时前
分布式定时任务:Elastic-Job-Lite
分布式·elasticjoblite
dessler4 小时前
Kafka-消费者(Consumer)和消费者组(Consumer Group)
linux·运维·kafka
hjs_deeplearning4 小时前
认知篇#10:何为分布式与多智能体?二者联系?
人工智能·分布式·深度学习·学习·agent·智能体
小毛驴8505 小时前
Windows 环境下设置 RabbitMQ 的 consumer_timeout 参数
windows·分布式·rabbitmq
述雾学java7 小时前
Spring Cloud 服务追踪实战:使用 Zipkin 构建分布式链路追踪
分布式·spring·spring cloud·zipkin
大只鹅7 小时前
分布式部署下如何做接口防抖---使用分布式锁
redis·分布式
weixin_438335407 小时前
分布式定时任务:xxl-job
分布式
大数据CLUB7 小时前
基于spark的航班价格分析预测及可视化
大数据·hadoop·分布式·数据分析·spark·数据可视化