在数字化转型的浪潮中,保险行业正经历着前所未有的数据爆发。对于华农保险而言,数据不仅是业务的记录,更是驱动决策的核心资产。
1月28日,在第 50 期Open Day「驱动数据未来:华农OLAP 架构涅槃与 StarRocks 探索」 直播活动中,华农保险大数据平台架构师张晨 与镜舟科技解决方案架构师郑荣,分享了华农保险从 ClickHouse 到 StarRocks 的架构跃迁之路,以及 StarRocks 在金融行业的落地实践。
一、痛点:当"单机"遇上海量数据
作为一家处于快速发展期的保险企业,华农保险的数据体量正在飞速膨胀。目前其业务库中存量数据已达近十 TB,且保持着日新增数百 GB 的增长速度。在原有的架构中,业务数据经由 CDH 集群加工后推送到 ClickHouse,主要用于加速近 50%的统计报表和 80% 的看板查询。
然而,随着业务的深入,原有的单机节点 ClickHouse 架构逐渐难以招架,给业务和运维团队带来了切实的困扰:
-
**并发与稳定性瓶颈:**在面对大量数据的并发读写时,单机节点容易出现CPU 资源耗尽的情况,甚至导致机器"夯死",进而造成报表和看板数据出现小时级别的不可用,影响业务体验。
-
**运维成本高昂:**由于是单机架构,数据分布不均等问题往往需要人工介入。运维团队经常需要花费数小时进行手动磁盘均衡,且操作繁琐,极度依赖人工。
-
**扩容受限:**随着业务发展,单机存储和计算能力终将达到物理极限,无法通过简单的横向扩展来应对未来的数据增长挑战。
团队曾尝试通过切换 SSD 磁盘、制定严格的数据清理策略以及加强监控等措施来缓解压力,但人为运维负担重的问题依然未能得到根除。
二、选型思考:为何将目光投向 StarRocks?
为了解决单机架构带来的扩展性和运维难题,华农保险决定探索新的 OLAP 解决方案。在调研中,StarRocks 凭借其架构特性,切中了华农保险的核心诉求:
1.高可用架构方案
针对原架构的单点风险,华农保险设计了"多个 FE(虚拟机)+ 多个 BE(物理机)"的 StarRocks 集群方案。多 FE 节点的设计确保了元数据的高可用,即使单台机器故障也不影响业务对数据的使用,旨在大幅提升系统的稳定性。
2.极简运维,友好管理
StarRocks 在权限管理上兼容 MySQL 协议,操作指令简单熟悉;更重要的是,面对数据增长,StarRocks 支持 BE 节点的横向在线扩容,能够自动实现数据均衡,有望将运维人员从繁重的手动搬运工作中解放出来。
3.满足业务查询需求
在业务场景上,StarRocks 不仅要满足 T+1 的报表需求,更要支撑秒级响应的实时看板,其物化视图能力以及 Replace Merge(自动去重),能够支持用户保单和理赔数据的精准查询,满足业务团队对大宽表单表查询性能的严苛要求。
三、落地:金融场景下的全链路优化
除了华农保险的实战分享,镜舟科技解决方案架构师也在活动中从行业视角,分享了 StarRocks 在金融领域更多的可能性,包括利用 Primary Key 模型处理保单变更、理赔数据去重等场景,以及如何通过全链路优化加速金融数据分析。
在众多解决方案经验上,银行、证券、基金和保险等金融机构对数据的准确性、时效性和安全性有着极高的要求。StarRocks不仅在性能上能够实现从指标体系、数据建模到查询加速的全链路优化,更在架构升级与迁移改造上提供了成熟的路径。
四、展望:稳步推进、全面替换
目前,华农保险已完成了 StarRocks 集群的基础建设,并成功迁移了首个看板需求,查询速度满足业务预期。
随着迁移工作的逐步推进,华农保险将依托 StarRocks 实时分析能力,实现统计报表和看板的全面提速,将数据响应时间从分钟级、小时级提升至"秒级",真正实现数据驱动业务增长。
从单机到集群,从手动运维到自动化管理,华农保险的 OLAP 架构探索之路,正是金融企业追求数据平台"降本增效"的一个缩影。
镜舟科技也将持续助力更多像华农保险一样的金融机构,构建极速、统一、易用的数据分析底座,共探数据价值的新未来。