logstash读取kafka日志写到oss归档存储180天

安装logstash(略)
安装logstash-output-oss插件
bash 复制代码
/data/logstash/bin/logstash-plugin install logstash-output-oss
logstash.conf配置
conf 复制代码
#
input {
        kafka {
                bootstrap_servers => ["kafka1:9092,kafka2:9092,kafka3:9092"]
                group_id => 'oss_logs_group'
                topics => ["xinlimei_pro_topic","xinlimei_logs_pro","sunmei_logs_pro_topic"]
                client_id => "oss_logs_1"
                consumer_threads => 6
                sasl_mechanism => "PLAIN"
                security_protocol => "SASL_PLAINTEXT"
                sasl_jaas_config => "org.apache.kafka.common.security.plain.PlainLoginModule required username='admin'  password='kafkasunmei0227';"
                codec => "json"
                auto_offset_reset => "latest"
        }
}

filter {
        mutate {
                lowercase => ["app_name"]
                # 删除没用的字段
                remove_field => ["_index","_id","_type","_version","_score","referer","agent","@version","host"]
        }
        date {
        match => ["date", "yyyy-MM-dd HH:mm:ss.SSS"]
                target => '@timestamp'
                timezone => 'Asia/Shanghai'
        }
        ruby{
                code => "event.set('index_day', (event.get('@timestamp').time.localtime).strftime('%Y.%m.%d'))"
        }
}
output {
  oss {
    # 替换为你的 OSS endpoint
    endpoint => "http://oss-cn-shanghai-internal.aliyuncs.com"
    # 替换为你的 OSS 存储桶名称
    bucket => "tr-app-logs"
    # 替换为你的 AccessKey ID
    access_key_id => "your access_key"
    # 替换为你的 AccessKey Secret
    access_key_secret => "your access_key_secret"
    # 替换为日志在 OSS 中的存储路径前缀(目录名)
    prefix => "%{index_day}-%{[app_name]}-%{[profiles_active]}"
    # 在 Logstash 启动时,会尝试恢复之前未完成的上传操作。这有助于确保日志数据不会因为 Logstash 的重启而丢失
    recover => true
    #size_and_time,Logstash 会同时根据文件大小和时间间隔来滚动文件
    rotation_strategy => "size_and_time"
    time_rotate => 10 # 10分钟滚动并上传 单位为字节
    #100M 单位字节滚动并上传 单位为字节
    size_rotate => 104857600
    # 替换为临时文件存储目录
    temporary_directory => "/data/logstash/temporary/"
    #Logstash 会在上传前对文件进行压缩,这可以减少上传到 OSS 的文件大小
    encoding => "gzip"
    additional_oss_settings => {
      max_connections_to_oss => 1024
      secure_connection_enabled => false
    }
    codec => json {
      charset => "UTF-8"
    }
  }
}
相关推荐
whltaoin2 小时前
SpringCloud 项目阶段九:Kafka 接入实战指南 —— 从基础概念、安装配置到 Spring Boot 实战及高可用设计
spring boot·spring cloud·kafka
Insist7536 小时前
基于OpenEuler部署kafka消息队列
分布式·docker·kafka
励志成为糕手10 小时前
Kafka选举机制深度解析:分布式系统中的民主与效率
分布式·kafka·linq·controller·isr机制
飞鱼&12 小时前
Kafka-保证消息消费的顺序性及高可用机制
分布式·kafka
shallwe小威13 小时前
SpringBoot集成Kafka
spring boot·后端·kafka
Lbwnb丶14 小时前
通过kafka-connect 实现debezium数据监听采集
分布式·kafka
syty202014 小时前
kafka vs rocketmq
分布式·kafka·rocketmq
飞鱼&14 小时前
Kafka-消息不丢失
分布式·kafka
lifallen14 小时前
Kafka Rebalance机制全解析
分布式·kafka
兮动人16 小时前
Linux下安装Kafka 3.9.1
linux·运维·kafka·linux下安装kafka