通过Kafka-Logger插件收集流量进行漏洞扫描

通过Kafka-Logger插件收集流量进行漏洞扫描

方案

可以通过APISIX kafka-logger 插件将日志作为 JSON 对象推送到 Apache Kafka 集群中,消费Kafka里的数据格式化后添加到MySQL。

方案详情

1、登录APISIX,启用内置的kafka-logger 插件:

2、配置插件:

配置参考:https://apisix.apache.org/zh/docs/apisix/plugins/kafka-logger/

关键字段解释:
batch_max_size:数据首先写入缓冲区。当缓冲区超过 batch_max_size 或 buffer_duration 设置的值时,则会将数据发送到 Kafka 服务器并刷新缓冲区。设置为1时,每次写入到kafka一条流量数据。
brokers:需要推送的 Kafka 的 broker 列表。
cluster_name:Kafka 集群的名称,当有两个及以上 Kafka 集群时使用。只有当 producer_type 设为 async 模式时才可以使用该属性。
include_req_body:当设置为 true 时,包含请求体。注意:如果请求体无法完全存放在内存中,由于 NGINX 的限制,APISIX 无法将它记录下来。
include_resp_body:当设置为 true 时,包含响应体。
producer_batch_size:对应 lua-resty-kafka 中的 batch_size 参数,单位为字节。
producer_type:生产者发送消息的模式。

以下是本地配置,满足现有需求:

json 复制代码
{
  "_meta": {
    "disable": true
  },
  "batch_max_size": 1,
  "brokers": [
    {
      "host": "10.200.0.228",
      "port": 9092
    }
  ],
  "buffer_duration": 60,
  "cluster_name": 1,
  "inactive_timeout": 5,
  "include_req_body": true,
  "include_resp_body": true,
  "kafka_topic": "secapisixtest",
  "max_retry_count": 0,
  "meta_format": "default",
  "name": "kafka logger",
  "producer_batch_num": 1,
  "producer_batch_size": 1048576,
  "producer_max_buffering": 50000,
  "producer_time_linger": 1,
  "producer_type": "async",
  "required_acks": 1,
  "retry_delay": 1,
  "timeout": 3
}

3、点击启用并提交:

4、自此,就已经完成了对APISIX Kafka-Logger插件的配置,Kafka中也有了预期的数据:

5、后续可以消费Kafka中的数据入新的MySQL库,也可以用现有MySQL,在00:00 - 8:00 限制并发写MySQL,不影响工作时间使用。

稳定性测试

场景一、当Kafka挂掉时,是否影响测试环境稳定性:

1、当开启 kafka-logger 插件,并配置正确Kafka地址时,请求接口可正常请求,延迟在7 millis左右:

2、给kafka-logger 插件配置一个不存在的kafka地址,请求接口可正常请求,延迟在7 millis左右,符合预期:

回退方案

理论 Kafka-Logger插件作为APISIX原生插件不会影响到测试环境,若出现问题,关闭插件即可(大约占用1分钟):

相关推荐
在未来等你8 小时前
Elasticsearch面试精讲 Day 26:集群部署与配置最佳实践
大数据·分布式·elasticsearch·搜索引擎·面试
勤源科技9 小时前
分布式链路追踪中的上下文传播与一致性维护技术
分布式
互联网工匠9 小时前
分布式操作的一致性方案
分布式·架构
熊猫钓鱼>_>9 小时前
【案例实战】鸿蒙分布式智能办公应用的架构设计与性能优化
分布式·华为·harmonyos
没有bug.的程序员13 小时前
金融支付分布式架构实战:从理论到生产级实现
java·分布式·微服务·金融·架构·分布式调度系统
在未来等你13 小时前
Elasticsearch面试精讲 Day 25:Elasticsearch SQL与数据分析
大数据·分布式·elasticsearch·搜索引擎·面试
有一个好名字15 小时前
万字 Apache ShardingSphere 完全指南:从分库分表到分布式数据库生态
数据库·分布式·apache
Aurora_eye15 小时前
记录之Ubuntu22.4虚拟机及hadoop为分布式安装
大数据·hadoop·分布式
liangsheng_g16 小时前
Kafka服务端处理producer请求原理解析
kafka
斯班奇的好朋友阿法法17 小时前
rabbitmq服务端消费端实例(direct和fanout模式)
分布式·rabbitmq·ruby