作者：四牛
前言
云消息队列 Kafka 版 Serverless 系列凭借其秒级弹性扩展、按需付费、轻运维的优势，助力嘉银科技业务系统实现灵活扩缩容，在业务效率和成本优化上持续取得突破，保证服务的敏捷性和稳定性，并节省超过 20% 的成本。
客户介绍
嘉银科技是一家专注于科技驱动普惠金融的上市企业，在多年的发展过程中，始终坚持以技术为核心推动业务迭代，公司致力于以大数据、云计算、人工智能等技术在消费场景内连接消费者与金融机构，让每位用户都能享受到高效便捷的科技服务，同时助力金融机构业务高速增长。
应用上云
随着业务规模的不断扩大，嘉银科技对底层技术平台的可扩展性、稳定性和运维便捷性提出了更高要求，2024 年初启动了整体应用迁移上云的进程，嘉银科技技术团队经过多方技术论证及产品选型，最终选择阿里云作为云服务提供商。阿里云和嘉银科技的技术团队共同组建上云项目组，制定上云技术方案和实施步骤。
自建 Kafka迁移上云
伴随着应用从 IDC 迁移上云，应用所依赖的中间件服务也逐步迁移到云上更加稳定成熟的 PaaS 产品，其中 Kafka 就是在此次迁云过程中完成了技术升级，由开源自建 Kafka 集群迁移到阿里云消息队列 Kafka 版 V3 集群，大大提升了应用系统的稳定可靠及弹性能力。
下图展示了嘉银科技的 Kafka 架构迁移至云端前后的对比。左侧为迁移前的开源自建 Kafka 架构，右侧为迁移至阿里云消息队列 Kafka 版 v3 后的架构。
云上 Kafka 技术优势
阿里云消息团队在技术上持续投入，迭代升级云消息队列 Kafka 版产品的核心技术架构，其 Serverless 系列实现了真正意义上的存算分离，存储层基于云重新设计，这也是绝大部分商业化消息产品的重点投入方向，难点在于实现彻底分离，解决成本和性能的矛盾，同时保证计算弹性的轻量和扩容的可靠。
阿里云消息队列 Kafka 版 Serverless 系列以其卓越的弹性能力，为嘉银科技提供了高效的资源管理和业务连续性保障。
- 自适应弹性：云消息队列 Kafka 版 Serverless 系列在 20 MB/秒 ~ 1 GB/秒支持无感弹性；1 GB/秒 ~ 3 GB/秒支持秒级弹性；3 GB/秒以上支持分钟级弹性。客户可以依据业务流量的趋势，通过弹性能力实现成本与性能的平衡，从容且高效地应对突发流量高峰。
- 秒级定时弹性：对于超大规模集群，云消息队列 Kafka 版 Serverless 系列支持脉冲的定时弹性，允许预设弹性策略，在流量高峰期预留足够资源确保关键业务的持续性和稳定性，在低峰期则减少资源使用以节约成本，不仅提升了资源利用率，还降低了运维复杂度。
- 高可用、高可靠：开源 Kafka 通过 ISR 机制实现服务高可用和数据高可靠，但计算和存储混杂，副本机制复杂度高，问题排查难度大。阿里云消息队列 Kafka 版 V3 基于存算分离架构，实现各计算节点无状态且共享存储，不仅降低了复杂度，还提高了可运维性。计算节点高可用基于自研轻量 Leader 切换机制实现，在稳定提供读写服务的同时又能优雅轻便地 Leader 转移，是云消息队列 Kafka 版高效弹缩的核心底座。云消息队列 Kafka 版在存储层面基于阿里云飞天盘古 DFS，支持跨数据中心容灾，提供百微秒级平均延迟、毫秒级长尾延迟，数据可靠性 12 个 9，可用性 5 个 9。因此，迁移后的架构可靠性和可用性都得到了显著的提升。
- 高性能：采用 OpenMessaging Benchmark Framework 对云消息队列 Kafka 版 V3 和 Apache Kafka 3.3 进行攒批发送与碎片化发送场景下的吞吐延迟对比测试，测试结果显示，在攒批发送与碎片化发送场景下，云消息队列 Kafka 版 V3 在 TP999 的延迟表现整体均优于 Apache Kafka，并且随着吞吐的增加，这种性能优势更加明显，碎片化发送场景快 10 倍。
- 成本优化：云消息队列 Kafka 团队有长时间研发和运维经历，积累了大量的实战经验。结合嘉银科技的业务模型，提供 Kafka 最佳实践，客户端和服务端都有 20% 的成本优化，避免不必要的开支。同时，制定容灾方案防止数据丢失或服务中断。
业务价值
高稳定架构，为业务保驾护航：云消息队列 Kafka 版凭借高吞吐与分布式架构，满足了嘉银科技的实时数据收集、传输和高并发消息传递的需求。通过持久化能力与副本机制，进一步确保了数据可靠性和业务连续性。即使在高负载情况下也能稳定传递消息，防止数据丢失，维护数据完整性，从而保障了嘉银科技大数据平台的高效运行。
灵活资源管理，优化成本效益：云消息队列 Kafka 版 Serverless 系列采用存算分离架构，并结合动态资源调整策略，能够根据实时业务负载自动进行弹性伸缩，实现按量计费，无需预先估算和配置实例规格。不仅降低了嘉银科技运维人员工作的复杂度，还显著降低了资源使用成本。