本文作者：多点数据库DBA团队
编者按：多点是零售行业数字（智）化的先行者，为全球企业提供创新的数字化解决方案。然而，在数字化转型的过程中，多点原有的数据库架构逐渐暴露出架构复杂、成本上升等问题。在本文中，多点资深DBA杨家鑫 深入探讨了未来数据库的发展趋势，指出SQL与NoSQL的结合将成为必然方向，并强调效率提升是企业发展的核心主题。同时，他还分享了多点通过引入OceanBase升级数据库架构、简化技术栈，最终实现降本增效的实践经验。
现状：数字化浪潮来袭，转型迫在眉睫
在我国，数字化作为推动经济发展的新引擎，正在成为千行百业转型升级的方向。据统计，2023年我国的GDP总量已达到126万亿，其中数字经济的占比高达42%，即53万亿之巨。这一数字不仅彰显了数字经济的庞大体量，更预示着其势不可挡的发展趋势。目前服务业在国民经济中的占比已超过50%，成为经济发展的重要支柱。然而，传统的人工服务受限于规模化量产的难题，难以进一步推动经济增速。而数字化，正是破解这一难题的关键所在。
多点作为零售数字化领域的先锋，提供全局数字化解决方案，拥有上百个全渠道系统，涵盖会员管理、商品、营销、O2O、POS系统、WMS物流、AI出清、AI导购等多个关键环节，为零售企业提供全方位的数字化支持。多点的客户遍布国内、东南亚及欧洲等地，其中包括知名网红商家，全国性连锁便利店，合资连锁商超等。然而在这些业务背后，我们的系统曾面临多种挑战。
挑战：多种数据库并存，复杂度与成本攀升
尽管数字化浪潮势不可挡，但我们在零售SaaS领域仍面临诸多挑战。这些挑战主要集中在四个方面：系统复杂度高、数据增长迅速、资源成本高昂以及运维成本居高不下。资源成本之所以成为最突出的问题，原因在于零售作为民生行业，其业务系统必须全天候运行，无论是供应链的采购、销售、物流还是电商环节，除开白天还在夜间乃至凌晨进行作业。这导致大量数据不断涌入数据库，使得资源成本像一条不断上升的斜线，无限制地增长。
该截图是自己画的示例
目前，我们主要使用六种开源数据库，整个生产环境中的数据库实例已超过一万个，数据空间规模也接近10PB级别。生产环境的数量之多，已难以用双手计数。在使用多种数据库的过程中，我们也遇到了一系列问题。首要的是技术复杂性，其次是高昂的运维成本、管理成本、学习成本以及交付成本。一套私有化环境的交付涉及上百个系统，以及上百套数据库集群和数百个数据库实例。对于我们的DBA而言，他们不仅需要掌握多种技术，还要考取相关认证，学习成本极高。
选型：OceanBase四大优势赋能多点
那么，分布式数据库OceanBase带来了哪些变革？
如下图所示，OceanBase架构简洁明了。上层仅设一层OBProxy代理，专职路由转发。下层OBServer则身兼两职，既负责计算也负责存储，实现计算存储一体化。这一设计显著减少了网络交互，使得架构更加清晰高效。即便在同机房内，网络延迟也约在1毫秒左右，而计算存储一体化则大幅降低了这种延迟，因为内存响应延迟仅为微秒级，相较之下，性能提升上千倍。
此外，OBProxy与OBServer相结合，仅需三台服务器即可搭建。这是因为我们将OBProxy代理与OBServer部署在同一环境中。至于OCP管理节点，它具备管理多套OBServer数据库的能力，因此其服务器资源的边际成本被有效分摊，使得搭建一套OceanBase集群仅需三台服务器资源。
该截图是OceanBase架构图
总结而言， OceanBase数据库主要有四大优势。
- **存储成本更低。**其存储成本之所以更低，是因为它不仅采用了通用的压缩算法，还应用了数据编码技术。根据我们的实践经验，将MySQL数据库迁移至OceanBase后，单副本的压缩率接近90%，这一数据表现极为出色。
- **混合部署更稳。**OceanBase之所以混合部署更稳定，是因为它不仅能实现租户间的隔离，还能在租户内部设置隔离，限制用户或库级别的IO和CPU消耗。
- **兼具低延迟和高并发的特性。**OceanBase之所以能同时支持低延迟和高并发，其中一个原因是可以配置Primary Zone，即将主副本集中在一个OBServer节点上进行读写，类似于单机MySQL的读写模式，从而提供更低的延迟和更优的性能。而当需要应对高并发场景时，可以配置副本在多个server节点间进行负载均衡，以支持更高的并发量。
- 周边工具更加完善。 我们广泛利用多台服务器的I/O和CPU资源，其中OCP管理平台发挥了关键作用。它集成了监控告警、备份等丰富功能，无论是能想到的还是未曾设想的，一应俱全。在问题排查时，它提供的Top SQL、Slow SQL和可疑SQL分析功能尤为实用。此外，OMS数据同步功能支持将多种数据源的数据轻松同步至我们的数据库。
思考：SQL+NoSQL成未来趋势，提效是企业主旋律
除了上述OceanBase在多点业务场景中所具备的多种优势，我认为OceanBase数据库是面向未来的数据库。为什么这么说？我们已步入数字化时代，未来将向数字化、智能化方向迈进。AI技术将如智能手机般普及，深入寻常百姓家。未来数据库一定是同时支持关系型与非关系型数据。关系型数据库，如MySQL，以其ACID特性和结构化事务处理能力而广受欢迎。非关系型数据库，如Redis，则以其灵活扩展和高度自由性著称。未来的数据库需融合两者优势，满足多样化数据需求。
对于个人而言，当前，我们身处信息爆炸的社会，数据显示，每位活跃的成年人每日接收的信息量约达34GB，涵盖社交媒体、娱乐媒体及短视频等。对于技术而言，鉴于个人对技术的掌握势必有限，未来技术将趋于收敛，信息数据也将逐渐整合简化。对于企业而言，技术栈将更精简、更高效，提效将成为未来主旋律。
OceanBase正符合未来数据库的设想，并且OceanBase也在持续进化。自4.0版本起，它已支持单机与分布式一体化。4.2版本则正式引入了OBKV Redis支持。而最新的4.3版本，更是新增了对向量化引擎和列存的支持，这一引擎正是AI大模型的基石。
该截图是自己画的示例
落地：从MySQL到OceanBase，成本节省超80%
截至目前，我们已在OceanBase成功上线了五个业务库，数据量 20T，涵盖某物流系统、某结算系统、某虚拟系统以及监控和快照慢查询分析库。其中，这些业务对商家尤为重要，特别是对于大型客户，他们的仓库与门店融为一体，需要24小时不间断运营，包括凌晨时段。这些只是当前的部分应用场景，未来我们将继续拓展OceanBase的应用范围，将更多业务迁移到OceanBase平台上。
1.存储成本收益明显
当我们将业务从MySQL迁移到OceanBase时，在MySQL中2.1T的单副本数据量，到OceanBase后锐减至252GB。这一显著变化得益于OceanBase的通用压缩和数据编码技术，使得压缩率大幅提升。具体来说，单副本的压缩率已接近惊人的90%。由于MySQL采用的是一主两副本架构，而OceanBase则采用三副本架构，综合计算下来，OceanBase的整体压缩率带来了超过80%的成本节省。这不仅体现在存储成本上，还包括运维成本的显著降低。
2.运维更加简单
首先，分布式数据库扩展能力相比集中式数据库运维更简单。对于DBA来说，维护并迁移一个20T规模的数据库，在MySQL环境下至少需要40套，每套1TB的MySQL实例，且迁移过程会有损，导致现有数据库连接全部中断，需要至少一名DBA全程参与。然而，在OceanBase中，由于其支持动态扩缩容和无损变更，只需扩容OBServer存储节点，并将域名解析到新的OBProxy上，即可实现无损迁移。此外，OceanBase基于Paxos协议，确保了数据强一致性和安全性。
其次，借助可视化管控工具运维更方便。OCP还提供了备份、告警的可视化管理，以及良好的可观测性，包括Top SQL、Slow SQL的监控，并且原生支持高可用架构。OCP管理平台需要一套独立的元数据数据库，它与业务数据库分离，以确保管理的独立性和数据的清晰性。因此，我们额外建立了一套元数据数据库。
该截图是自己画的示例
目前，OceanBase中的TPS已达到近1500，而QPS的最高值也接近3000。
截图来自于开源OceanBase OCP平台
3.使用心得小结
我们发现Top SQL和Slow SQL分析工具对DBA及业务方在问题排查和压力情况了解方面极具价值。特别地，我们的系统响应时间已接近1毫秒，这一数字表明OceanBase的性能已与单机MySQL相当。这一优异表现部分归功于我们采用了高性能配置，特别是使用了NVME SSD作为存储介质。NVME SSD在固态硬盘中性能卓越，为我们的系统提供了强大的支持。
更重要的是，我们还配置了Primary Zone，这一配置能够将OceanBase的多个副本中的主副本全部集中到一个OB server节点上。这样，在进行直接读写操作时，就相当于在操作一个单机数据库，从而有效减少了多表跨节点join所产生的分布式事务。通过这种方式，我们将分布式事务转化为单机事务，使得系统性能得以提升至接近1毫秒的响应时间。就性能而言，如果要在1毫秒的基础上进一步提升，那就只能依赖纯内存缓存的解决方案了。
截图来自于开源OceanBase OCP平台
未来：应用OceanBase持续降本提效
下图示例了我们当前某生产环境最近一天的数据增长量近2000GB左右。这意味着，每月我们将消耗近60TB的磁盘资源，每月资源增长2.5%，按此增速计算，一年下来磁盘资源增长将到24%，就犹如滚雪球一样越滚越大。随着资源成本的持续增长，这一趋势显得尤为严峻。
该截图是自己画的示例
未来，我们将积极探索在更多业务场景中，以及将关系型MySQL与非关系型Redis数据库迁移到OceanBase平台，以有效控制资源成本的持续增长。通过优化资源配置，降低成本支出，从而直接提升利润空间。
最后，我想赠予大家一句话，亦是一份宝贵的资源：
"万物之中，希望至美；至美之物，永不凋零。" 或许这句话大家耳熟能详，它正是源自豆瓣电影史上评分最高的作品------《肖申克的救赎》。影片中的主角，始终怀揣希望，从未放弃。正是这份希望，引领他走向成功。
同样，正是希望的力量，才让我们见证了OceanBase这一优秀国产数据库的蓬勃发展。