华农保险 x StarRocks:从单机瓶颈到架构焕新,探索 OLAP 的涅槃之路

在数字化转型的浪潮中,保险行业正经历着前所未有的数据爆发。对于华农保险而言,数据不仅是业务的记录,更是驱动决策的核心资产。

1月28日,在第 50 期Open Day「驱动数据未来:华农OLAP 架构涅槃与 StarRocks 探索」 直播活动中,华农保险大数据平台架构师张晨镜舟科技解决方案架构师郑荣,分享了华农保险从 ClickHouse 到 StarRocks 的架构跃迁之路,以及 StarRocks 在金融行业的落地实践。

一、痛点:当"单机"遇上海量数据

作为一家处于快速发展期的保险企业,华农保险的数据体量正在飞速膨胀。目前其业务库中存量数据已达近十 TB,且保持着日新增数百 GB 的增长速度。在原有的架构中,业务数据经由 CDH 集群加工后推送到 ClickHouse,主要用于加速近 50%的统计报表和 80% 的看板查询。

然而,随着业务的深入,原有的单机节点 ClickHouse 架构逐渐难以招架,给业务和运维团队带来了切实的困扰:

  • **并发与稳定性瓶颈:**在面对大量数据的并发读写时,单机节点容易出现CPU 资源耗尽的情况,甚至导致机器"夯死",进而造成报表和看板数据出现小时级别的不可用,影响业务体验。

  • **运维成本高昂:**由于是单机架构,数据分布不均等问题往往需要人工介入。运维团队经常需要花费数小时进行手动磁盘均衡,且操作繁琐,极度依赖人工。

  • **扩容受限:**随着业务发展,单机存储和计算能力终将达到物理极限,无法通过简单的横向扩展来应对未来的数据增长挑战。

团队曾尝试通过切换 SSD 磁盘、制定严格的数据清理策略以及加强监控等措施来缓解压力,但人为运维负担重的问题依然未能得到根除。

二、选型思考:为何将目光投向 StarRocks?

为了解决单机架构带来的扩展性和运维难题,华农保险决定探索新的 OLAP 解决方案。在调研中,StarRocks 凭借其架构特性,切中了华农保险的核心诉求:

1.高可用架构方案

针对原架构的单点风险,华农保险设计了"多个 FE(虚拟机)+ 多个 BE(物理机)"的 StarRocks 集群方案。多 FE 节点的设计确保了元数据的高可用,即使单台机器故障也不影响业务对数据的使用,旨在大幅提升系统的稳定性。

2.极简运维,友好管理

StarRocks 在权限管理上兼容 MySQL 协议,操作指令简单熟悉;更重要的是,面对数据增长,StarRocks 支持 BE 节点的横向在线扩容,能够自动实现数据均衡,有望将运维人员从繁重的手动搬运工作中解放出来。

3.满足业务查询需求

在业务场景上,StarRocks 不仅要满足 T+1 的报表需求,更要支撑秒级响应的实时看板,其物化视图能力以及 Replace Merge(自动去重),能够支持用户保单和理赔数据的精准查询,满足业务团队对大宽表单表查询性能的严苛要求。

三、落地:金融场景下的全链路优化

除了华农保险的实战分享,镜舟科技解决方案架构师也在活动中从行业视角,分享了 StarRocks 在金融领域更多的可能性,包括利用 Primary Key 模型处理保单变更、理赔数据去重等场景,以及如何通过全链路优化加速金融数据分析。

在众多解决方案经验上,银行、证券、基金和保险等金融机构对数据的准确性、时效性和安全性有着极高的要求。StarRocks不仅在性能上能够实现从指标体系、数据建模到查询加速的全链路优化,更在架构升级与迁移改造上提供了成熟的路径。

四、展望:稳步推进、全面替换

目前,华农保险已完成了 StarRocks 集群的基础建设,并成功迁移了首个看板需求,查询速度满足业务预期。

随着迁移工作的逐步推进,华农保险将依托 StarRocks 实时分析能力,实现统计报表和看板的全面提速,将数据响应时间从分钟级、小时级提升至"秒级",真正实现数据驱动业务增长。

从单机到集群,从手动运维到自动化管理,华农保险的 OLAP 架构探索之路,正是金融企业追求数据平台"降本增效"的一个缩影。

镜舟科技也将持续助力更多像华农保险一样的金融机构,构建极速、统一、易用的数据分析底座,共探数据价值的新未来。

相关推荐
Patrick在香港13 小时前
Python 拉取城巴开放数据:406 条路线,香港岛巴士网络的数字画像
网络·python·数据分析·php·数据可视化·香港·开放数据
wang_yb14 小时前
用 Python 计算联合概率和条件概率
数据分析·databook
databook14 小时前
用 Python 计算联合概率和条件概率
python·数据分析
进哥AI研习社17 小时前
前端监控埋点体系——从性能指标到用户行为观测
数据分析·埋点·rum·前端监控·用户行为·错误追踪·web vitals
十三画者19 小时前
【文献分享】CancerCellNet:评估癌症模型转录保真度的计算工具
人工智能·深度学习·数据挖掘·数据分析·数据可视化
StarRocks_labs20 小时前
基于 Fluss、Paimon 与 StarRocks 构建淘天集团湖流一体数据链路
starrocks·olap·schema·paimon·fluss·湖流一体
十三画者1 天前
【文献分享】PANORAMIC:用于空间组学共定位分析的分层不确定性传播框架
人工智能·深度学习·数据挖掘·数据分析·集成学习
怕浪猫2 天前
用好这 5 把钥匙,你就能拦截 AI Agent 的一切行为
数据分析·agent·产品
StarRocks_labs2 天前
从 6000+ Commit 中识别升级风险:一个 StarRocks AI 升级扫描工具的实现
starrocks·ai·commit·分析·claude code
StarRocks_labs2 天前
StarRocks 4.1:聚焦生产实践,持续降低运维复杂度
运维·starrocks·iceberg·schema·物化视图·tablet·存算分离架构