金融用户实践|分布式存储支持数据仓库业务系统性能验证

作者:深耕行业的 SmartX 金融团队 闫海涛

估值是指对资产或负债的价值进行评估的过程,这对于投资决策具有重要意义。每个金融公司资管业务人员都期望能够实现实时的业务估值,快速获取最新的数据和指标,从而做出更明智的投资决策。

为了更好地实现实时估值,**某金融客户使用 SmartX 分布式块存储产品 SMTX ZBS 进行系统性能优化探索,并与本地硬盘环境进行了对比测试。**本文将重点分享客户在估值业务系统效率提升方向上所做的探索工作,希望能够给读者一些启发。

测试背景

估值系统

金融公司资产管理(资管)业务中的估值系统在投资决策和客户报告等方面扮演着关键角色。通过计算和确定投资组合中各种资产(如股票、债券、衍生品等)的净值或市值,估值系统可帮助基金管理人员了解投资组合的价值和表现。

估值系统通常涉及以下方面的任务:

  • **市场数据采集:**估值系统需要从各种金融市场和数据供应商获取实时或延迟的市场数据,如股票价格、债券收益率、外汇汇率等。这些数据对于计算投资组合的净值至关重要。
  • **资产估值:**估值系统使用不同的定价模型来估计投资组合中各种资产的价值。这可能涉及到股票、债券、期货、期权等不同类型的资产,每种资产可能都需要不同的估值方法。
  • **价格验证:**估值系统需要确保所使用的市场数据和定价模型是准确的和可靠的。因此,价格验证是确保数据正确性的重要步骤。
  • **交易处理:**如果投资组合中有新的交易,估值系统需要记录这些交易并对其进行适当的估值调整,以反映最新的投资组合价值。
  • **计算净值:**估值系统会根据资产的估值计算基金的净值。基金的净值是指基金资产减去负债后的剩余价值,即每份基金份额的价值。
  • **报告生成:**估值系统还可以生成各种报告,供基金管理人员、投资者和监管机构使用。这些报告可能包括基金的净值报告、投资组合构成、风险分析等。

正因如此,基金公司的估值系统在确保投资组合价值准确性、支持投资决策以及满足监管和报告要求方面起着关键作用。

客户需求

实时估值是客户的终极期望,即能够快速地获取最新的数据和指标,并快速地完成估值核算。实现实时估值的主要影响因素有两个:市场行情和交易数据的导入时效性,和估值核算过程中的系统性能。

其中,市场行情和交易数据导入的时效性主要由外部因素决定,客户难以控制。而估值核算环节由客户自建系统实现,通常采用物理服务器和全闪存储的方式进行支撑。该种方式硬件和运维成本高昂,同时随着估值数据的不断增长,很难满足估值系统高性能和高容量的需求,容易出现性能瓶颈、容量扩展困难等问题。这些问题会导致估值系统跑批时间过长、数据落地延迟,从而影响业务效率和质量。

为了解决这些问题,客户计划使用 SMTX ZBS(基于裸金属服务器)进行估值系统效率优化,并与"裸金属服务器 + 本地硬盘"环境进行对比测试,验证估值系统核算跑批性能优化情况。

测试环境

SMTX ZBS

SMTX ZBS 是 SmartX 自研的软件定义分布式存储系统,它能够为裸金属服务器、VMware 虚拟化等通用计算平台提供高效、可靠、灵活的存储服务。

  • **高性能:**SMTX ZBS 利用 SSD 设备作为缓存,提高数据读写速度;支持超融合架构,将计算和存储集成在同一台服务器上,减少网络延迟;采用条带化技术,将连续的数据分散到不同的硬盘上,提高并行度和吞吐量。
  • **高可靠:**SMTX ZBS 通过多副本机制,保证数据在不同的节点上有冗余备份,防止数据丢失;采用强一致性写,保证数据在所有副本上保持一致;支持快照、克隆、回滚等数据保护功能,方便数据恢复和备份。
  • **低消耗:**SMTX ZBS 兼容商用服务器,无特殊硬件需求;存储仅占用有限的计算资源,避免额外购置存储服务器;支持精简置备、压缩、去重等空间优化功能,节省存储空间。
  • **横向弹性扩展:**SMTX ZBS 支持动态增加或减少节点,实现性能和容量的同步线性扩展;单集群最大可支持 255 个节点。
  • **易于集成:**SMTX ZBS 提供标准的 iSCSI 和 NVMe-oF 块存储接口和完整的 RESTful API 支持;支持主流的虚拟化和云平台以及 Kubernetes 和裸金属计算平台。

测试基本信息

测试拓扑
估值数据库系统当前环境运行配置
测试硬件配置

估值系统核算跑批测试

测试结果

这个测试是为了验证 SMTX ZBS 支撑估值业务系统的效果。我们使用了客户提供的估值业务系统,模拟了估值核算业务逻辑的跑批过程,并记录了完成跑批产品数量、总产品数量和跑批时间等指标。

我们分别在服务器本地磁盘和基于 SMTX ZBS 分布式存储 iSCSI、 NVM-oF 不同存储协议下三种环境进行了测试。

测试结果显示,对同等总数量的产品进行估值核算,**分布式存储 iSCSI 和 NVM-oF 在跑批时间上都明显优于服务器本地磁盘的方式(时间缩短近 50%),**而且完成跑批产品数量也更多。具体的数据如下:

场景探索结论

通过测试比较可以看到,**使用 SMTX ZBS 能够显著提升估值核算效率。**与服务器本地磁盘相比,分布式存储环境下的跑批时间缩短近 50%,完成核算数量更多。这对于快速生成投资者报告、加速投资分析决策具有重要意义。

同时,SMTX ZBS 的分布式架构还能够有效应对未来容量和性能的扩展需求,服务器硬件在运维管理方面也变得更简单和通用。

综上所述,在金融公司资产管理业务中使用 SMTX ZBS 来支撑估值系统,可以帮助客户获得更好的性能和业务优势,提升核算效率、加速报告生成,并增强整体业务效率。

更多金融行业场景探索

此外,基于 SmartX 超融合对 NVMe 闪存的优化, SmartX 还帮助某基金公司数据中心业务系统(包括 CISP 估值)进行性能提升验证测试。验证结果表明,相比于生产环境,测试环境下 CISP 估值数据落地单任务跑批时间缩短 85%,多任务跑批时间缩短 82%。欲了解测试详情,请阅读:某基金公司数据中心业务系统超融合平台优化验证

SmartX 还联合多家来自银行、保险、证券、基金、期货、资管等金融细分行业的头部企业,针对超融合在更多核心业务系统、数据库、IT 基础架构云化转型与信创转型等场景下的表现,开展全方位评测,并将长时间积累下来的分析报告汇总成电子书**《金融核心生产业务场景探索文章合集》**,供用户免费下载、随时参考。

相关推荐
花菜回锅肉44 分钟前
hadoop分布式文件系统常用命令
大数据·hadoop·分布式
Yz98762 小时前
Hive基础
大数据·linux·数据仓库·hive·hadoop·bigdata
raysync8883 小时前
镭速大文件传输软件向金融银行的文档管理提供高效的解决方案
服务器·网络·金融
alibaba_张无忌3 小时前
金融学期末速成笔记
笔记·金融
python_知世3 小时前
2024年中国金融大模型产业发展洞察报告(附完整PDF下载)
人工智能·自然语言处理·金融·llm·计算机技术·大模型微调·大模型研究报告
2401_857636395 小时前
实时数据流的革命:分布式数据库的挑战与实践
数据库·分布式
scc21405 小时前
kafka中topic的数据抽取不到hdfs上问题解决
分布式·hdfs·kafka
大菠萝爱上小西瓜5 小时前
使用etl工具kettle的日常踩坑梳理之一、从mysql中导出数据
数据仓库·etl
fgl1006 小时前
富格林:准确预判安全追损契机
金融
程序员小潘7 小时前
Dubbo分布式日志跟踪实现
分布式·dubbo