通过Kafka-Logger插件收集流量进行漏洞扫描

通过Kafka-Logger插件收集流量进行漏洞扫描

方案

可以通过APISIX kafka-logger 插件将日志作为 JSON 对象推送到 Apache Kafka 集群中,消费Kafka里的数据格式化后添加到MySQL。

方案详情

1、登录APISIX,启用内置的kafka-logger 插件:

2、配置插件:

配置参考:https://apisix.apache.org/zh/docs/apisix/plugins/kafka-logger/

关键字段解释:
batch_max_size:数据首先写入缓冲区。当缓冲区超过 batch_max_size 或 buffer_duration 设置的值时,则会将数据发送到 Kafka 服务器并刷新缓冲区。设置为1时,每次写入到kafka一条流量数据。
brokers:需要推送的 Kafka 的 broker 列表。
cluster_name:Kafka 集群的名称,当有两个及以上 Kafka 集群时使用。只有当 producer_type 设为 async 模式时才可以使用该属性。
include_req_body:当设置为 true 时,包含请求体。注意:如果请求体无法完全存放在内存中,由于 NGINX 的限制,APISIX 无法将它记录下来。
include_resp_body:当设置为 true 时,包含响应体。
producer_batch_size:对应 lua-resty-kafka 中的 batch_size 参数,单位为字节。
producer_type:生产者发送消息的模式。

以下是本地配置,满足现有需求:

json 复制代码
{
  "_meta": {
    "disable": true
  },
  "batch_max_size": 1,
  "brokers": [
    {
      "host": "10.200.0.228",
      "port": 9092
    }
  ],
  "buffer_duration": 60,
  "cluster_name": 1,
  "inactive_timeout": 5,
  "include_req_body": true,
  "include_resp_body": true,
  "kafka_topic": "secapisixtest",
  "max_retry_count": 0,
  "meta_format": "default",
  "name": "kafka logger",
  "producer_batch_num": 1,
  "producer_batch_size": 1048576,
  "producer_max_buffering": 50000,
  "producer_time_linger": 1,
  "producer_type": "async",
  "required_acks": 1,
  "retry_delay": 1,
  "timeout": 3
}

3、点击启用并提交:

4、自此,就已经完成了对APISIX Kafka-Logger插件的配置,Kafka中也有了预期的数据:

5、后续可以消费Kafka中的数据入新的MySQL库,也可以用现有MySQL,在00:00 - 8:00 限制并发写MySQL,不影响工作时间使用。

稳定性测试

场景一、当Kafka挂掉时,是否影响测试环境稳定性:

1、当开启 kafka-logger 插件,并配置正确Kafka地址时,请求接口可正常请求,延迟在7 millis左右:

2、给kafka-logger 插件配置一个不存在的kafka地址,请求接口可正常请求,延迟在7 millis左右,符合预期:

回退方案

理论 Kafka-Logger插件作为APISIX原生插件不会影响到测试环境,若出现问题,关闭插件即可(大约占用1分钟):

相关推荐
笨手笨脚の3 小时前
Kafka-1 初识消息引擎系统
分布式·kafka·消息队列·消息引擎系统
Savvy..3 小时前
消息队列MQ
kafka·消息队列·rabbitmq·rocketmq·mq
235165 小时前
【MQ】RabbitMQ:架构、工作模式、高可用与流程解析
java·分布式·架构·kafka·rabbitmq·rocketmq·java-rabbitmq
xrkhy6 小时前
分布式之RabbitMQ的使用(3)QueueBuilder
分布式·rabbitmq
__XYZ6 小时前
RedisTemplate 实现分布式锁
java·spring boot·redis·分布式·junit
失散138 小时前
分布式专题——44 ElasticSearch安装
java·分布式·elasticsearch·架构
無限神樂10 小时前
RabbitMQ概述,Rabbitmq是什么
分布式·rabbitmq
fakerth10 小时前
【OpenHarmony】分布式文件服务模块架构
分布式·架构·操作系统·openharmony
通信小呆呆10 小时前
分布式雷达 vs 多基地雷达:同频共振的“合唱团”和“乐队”
分布式·目标检测·信息与通信·信号处理·计算成像
北极光SD-WAN组网10 小时前
分布式控制系统(DCS)的智能组网技术解析及解决方案
分布式