通过Kafka-Logger插件收集流量进行漏洞扫描

通过Kafka-Logger插件收集流量进行漏洞扫描

方案

可以通过APISIX kafka-logger 插件将日志作为 JSON 对象推送到 Apache Kafka 集群中,消费Kafka里的数据格式化后添加到MySQL。

方案详情

1、登录APISIX,启用内置的kafka-logger 插件:

2、配置插件:

配置参考:https://apisix.apache.org/zh/docs/apisix/plugins/kafka-logger/

关键字段解释:
batch_max_size:数据首先写入缓冲区。当缓冲区超过 batch_max_size 或 buffer_duration 设置的值时,则会将数据发送到 Kafka 服务器并刷新缓冲区。设置为1时,每次写入到kafka一条流量数据。
brokers:需要推送的 Kafka 的 broker 列表。
cluster_name:Kafka 集群的名称,当有两个及以上 Kafka 集群时使用。只有当 producer_type 设为 async 模式时才可以使用该属性。
include_req_body:当设置为 true 时,包含请求体。注意:如果请求体无法完全存放在内存中,由于 NGINX 的限制,APISIX 无法将它记录下来。
include_resp_body:当设置为 true 时,包含响应体。
producer_batch_size:对应 lua-resty-kafka 中的 batch_size 参数,单位为字节。
producer_type:生产者发送消息的模式。

以下是本地配置,满足现有需求:

json 复制代码
{
  "_meta": {
    "disable": true
  },
  "batch_max_size": 1,
  "brokers": [
    {
      "host": "10.200.0.228",
      "port": 9092
    }
  ],
  "buffer_duration": 60,
  "cluster_name": 1,
  "inactive_timeout": 5,
  "include_req_body": true,
  "include_resp_body": true,
  "kafka_topic": "secapisixtest",
  "max_retry_count": 0,
  "meta_format": "default",
  "name": "kafka logger",
  "producer_batch_num": 1,
  "producer_batch_size": 1048576,
  "producer_max_buffering": 50000,
  "producer_time_linger": 1,
  "producer_type": "async",
  "required_acks": 1,
  "retry_delay": 1,
  "timeout": 3
}

3、点击启用并提交:

4、自此,就已经完成了对APISIX Kafka-Logger插件的配置,Kafka中也有了预期的数据:

5、后续可以消费Kafka中的数据入新的MySQL库,也可以用现有MySQL,在00:00 - 8:00 限制并发写MySQL,不影响工作时间使用。

稳定性测试

场景一、当Kafka挂掉时,是否影响测试环境稳定性:

1、当开启 kafka-logger 插件,并配置正确Kafka地址时,请求接口可正常请求,延迟在7 millis左右:

2、给kafka-logger 插件配置一个不存在的kafka地址,请求接口可正常请求,延迟在7 millis左右,符合预期:

回退方案

理论 Kafka-Logger插件作为APISIX原生插件不会影响到测试环境,若出现问题,关闭插件即可(大约占用1分钟):

相关推荐
努力的小郑5 小时前
从一次分表实践谈起:我们真的需要复杂的分布式ID吗?
分布式·后端·面试
AAA修煤气灶刘哥18 小时前
别让Redis「歪脖子」!一次搞定数据倾斜与请求倾斜的捉妖记
redis·分布式·后端
阿里云云原生1 天前
嘉银科技基于阿里云 Kafka Serverless 提升业务弹性能力,节省成本超过 20%
kafka·serverless
Aomnitrix1 天前
知识管理新范式——cpolar+Wiki.js打造企业级分布式知识库
开发语言·javascript·分布式
程序消消乐1 天前
Kafka 入门指南:从 0 到 1 构建你的 Kafka 知识基础入门体系
分布式·kafka
智能化咨询1 天前
Kafka架构:构建高吞吐量分布式消息系统的艺术——进阶优化与行业实践
分布式·架构·kafka
Chasing__Dreams1 天前
kafka--基础知识点--5.2--最多一次、至少一次、精确一次
分布式·kafka
在未来等你2 天前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试
大数据CLUB2 天前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发