logstash 消费kafka数据,转发到tcp端口

1, logstash 配置文件

bash 复制代码
[root@host1: ]  cat /opt/logstash/kafka-to-tcp.yml
input { 
            kafka {
              bootstrap_servers => "192.168.0.11:9092" #这里可以是kafka集群,如"192.168.149.101:9092,192.168.149.102:9092"
              consumer_threads => 3 #等于 topic分区数
              group_id => "logstash_123"
              #client_id => "logstash1" #注意,多台logstash实例消费同一个topics时,client_id需要指定不同的名字
              #auto_offset_reset => "latest"
              auto_offset_reset => "earliest"
              topics => ["alertTopic1"]
              codec => json { charset => "UTF-8" }
             }
}

filter { 
				 #删除某些数据:正则取反,根据json字段ruleName字段内容删除数据
				 if ([ruleName] !~ ".*主机告警.*") {
					drop {}
				 } 
				 
				 #只保留某些数据:正则匹配,删除其他的数据
				 #if ([ruleName] =~ ".*主机告警.*") {
				 #   drop {}
				 #} 
				 
				  mutate {  
						#删除某些json字段, 修改某些字段内容
						remove_field => ["eventId","ruleId"]
						gsub => [
									"Msg" , "[\r|\n]" , ""                   
								]
				 }
}

output {
                #输出到命令行窗口,方便调试
                #stdout{}

                #输出到文件,方便排查告警漏告等问题
                file {
                        codec =>  json_lines  { charset => "UTF-8" }
                        path => "/tmp/b.log"
                }

                #输出UMP平台对接指定的ip、端口,以指定的格式推送到UMP集中告警平台
                tcp {
                        host => "192.168.0.11"
                        port => "514"
                        codec => plain {
                                       format =>"%{TIME} 测试环境--ruleName:%{ruleName},Msg:%{Msg}\n"
                         }
                }
}

2,调试并后台启动

  • ./bin/logstash -f /xx/xx.yml
bash 复制代码
[root@host1: ]  cat /usr/lib/systemd/system/logstashtcp.service
[Unit]
Description=Logstash
Requires=network.service
After=network.service

[Service]
LimitNOFILE=65536
LimitMEMLOCK=infinity
ExecStart=/opt/logstash/bin/logstash -f /opt/logstash/kafka-to-tcp.yml
ExecReload=/bin/kill -HUP $MAINPID
KillMode=mixed
SuccessExitStatus=143
Restart=on-failure
RestartSec=42s

[Install]
WantedBy=multi-user.target
相关推荐
CodeWithMe1 小时前
【Note】《Kafka: The Definitive Guide》 第8章: Cross-Cluster Data Mirroring
分布式·kafka
Alaia.2 小时前
【kafka 3.9.1】单机版集群部署并配置kafka的SASL认证
分布式·kafka
亲爱的非洲野猪17 小时前
Kafka消息积压的多维度解决方案:超越简单扩容的完整策略
java·分布式·中间件·kafka
亲爱的非洲野猪1 天前
Kafka “假死“现象深度解析与解决方案
分布式·kafka
CodeWithMe1 天前
【Note】《Kafka: The Definitive Guide》第三章: Kafka 生产者深入解析:如何高效写入 Kafka 消息队列
分布式·kafka
虾条_花吹雪1 天前
2、Connecting to Kafka
分布式·ai·kafka
亲爱的非洲野猪1 天前
Kafka消息积压全面解决方案:从应急处理到系统优化
分布式·kafka
prince052 天前
Kafka 生产者和消费者高级用法
分布式·kafka·linq
菜萝卜子2 天前
【Project】基于kafka的高可用分布式日志监控与告警系统
分布式·kafka
csdn_aspnet2 天前
在 Windows 上安装和运行 Apache Kafka
windows·kafka