云原生分布式多模架构：华为云多模数据库 GeminiDB 架构与应用实践

文章目录

• 前言
• [一、GeminiDB 总体介绍](#一、GeminiDB 总体介绍)
• • 1.1、华为云数据库全景图
  • [1.2、GeminiDB 发展历程](#1.2、GeminiDB 发展历程)
  • [1.3、GeminiDB 全球分布情况](#1.3、GeminiDB 全球分布情况)
• [二、GeminiDB 云原生架构](#二、GeminiDB 云原生架构)
• • 2.1、核心设计：存算分离&多模扩展
  • 2.2、存算分离&多模扩展核心优势
  • 2.3、高可用：秒级故障接管
  • 2.4、弹性扩展：扩计算，业务仅秒级抖动
  • 2.5、弹性扩展：扩存储，业务"0"感知
  • 2.6、分级存储：自动化冷热交替，应用"0"改造
  • [2.7、高可靠：Region 内 3AZ 容灾，跨 Region 双活](#2.7、高可靠：Region 内 3AZ 容灾，跨 Region 双活)
• [三、GeminiDB 多模融合引擎](#三、GeminiDB 多模融合引擎)
• • 3.1、生态兼容，层次解耦，数据融合
  • [3.2、GeminiDB Redis 接口：提供稳定低时延](#3.2、GeminiDB Redis 接口：提供稳定低时延)
  • [3.3、GeminiDB Mongo 接口：大容量&强一致](#3.3、GeminiDB Mongo 接口：大容量&强一致)
  • [3.4、GeminiDB Cassandra 接口：类 SQL 语法](#3.4、GeminiDB Cassandra 接口：类 SQL 语法)
  • • 3.4.1、增强索引
    • 3.4.2、数据通道
    • 3.4.3、全局索引
  • [3.5、GeminiDB DynamoDB 接口：助力 DynamoDB 客户平滑迁移](#3.5、GeminiDB DynamoDB 接口：助力 DynamoDB 客户平滑迁移)
  • [3.6、GeminiDB Influx 接口：时空数据存、算、析一体平台](#3.6、GeminiDB Influx 接口：时空数据存、算、析一体平台)
• [四、GeminiDB 典型应用场景](#四、GeminiDB 典型应用场景)
• • [4.1、GeminiDB 携手迷你创想开启全民创作的新时代](#4.1、GeminiDB 携手迷你创想开启全民创作的新时代)
  • [4.2、GeminiDB 支撑 RTA 广告业务快速上线](#4.2、GeminiDB 支撑 RTA 广告业务快速上线)
  • [4.3、GeminiDB 助力数字娱乐巨头客户 DynamoDB 迁移](#4.3、GeminiDB 助力数字娱乐巨头客户 DynamoDB 迁移)
  • [4.4、GeminiDB 助力华为终端云打造体验天花板](#4.4、GeminiDB 助力华为终端云打造体验天花板)
  • [4.5、GeminiDB 助力 loT 场景数据分析实现万物互联](#4.5、GeminiDB 助力 loT 场景数据分析实现万物互联)
• 总结

---

前言

在本文中我们联合华为云 NoSQL 数据库研发总监余汶龙，与您一起探讨华为云多模数据库 GeminiDB 的技术架构，以及它们如何革新当代应用的数据处理方式，内容包括介绍云原生分布式多模架构，四种数据模型接口及其竞争力特性，GeminiDB 的应用场景：游戏、监控、智慧生活、无损迁移。

---

一、GeminiDB 总体介绍

1.1、华为云数据库全景图

华为云数据库目前在各行各业得到了市场上的广泛认可，包括中国一汽其 ERP 核心系统使用的是华为云数据库，永安保险理赔系统使用的是华为云数据库，其他如电商平台、游戏厂商等等，当然也有银行的一些核心系统，如信用卡等，那么华为云数据库主要分成哪几个部分呢？具体如下图所示：

华为云数据库主要分成三个部分 ，首先底层是迁移工具 ，能够支持用户平滑上云，上一层是开源托管数据库 ，最上层是自研数据库 ，其中 GeminiDB 是我们本文内容的重点，它是一款由 KV、文档、宽表和时序组成的一个超融合的多模数据库。

1.2、GeminiDB 发展历程

GeminiDB 引领 NoSQL 存算分离架构，持续战略投入，打造世界级数据库，GeminiDB 发展历程具体如下图所示：

结合 GeminiDB 发展历程，我们将其成就归纳为以下几点：

• 国内第一款：存算分离架构 NoSQL 数据库。
• 100% 兼容：5 款最热门生态，Redis、MongoDB、Cassandra、DynamoDB、InfluxDB。
• 0 秒 RPO ：3AZ 高可用实例，0 秒 RPO，数据"0"丢失。
• RTO 10 秒 ：实例故障恢复，RTO 10 秒内完成。
• 99.995% SLA ：高可用双活实例承诺，99.995% SLA，服务可用性保证远超国内其他厂商。

1.3、GeminiDB 全球分布情况

GeminiDB 全球一张网布局，服务全球客户，具体如下图所示：

如上图所示，当前 GeminiDB 已经分布在全球 23 个 Region，有 66 个可用区，共服务了全球 2000 多家大型企业，包括那个互联网金融、政府、电信等，当前在国内主要局点涵盖北、上、广、深等主流 Region，在海外主要有中东、亚太、欧洲及美洲。

二、GeminiDB 云原生架构

2.1、核心设计：存算分离&多模扩展

GeminiDB 云原生架构设计的核心分为存算分离和多模扩展两个部分，具体如下图所示：

数据库的存算分离是指将数据库的存储和计算功能分离开来，分别由不同的组件来完成 。通过将存储和计算功能分开，实现了更高的灵活性和扩展性。具体来说，存储功能由存储引擎（Storage Engine）来完成，计算功能由计算引擎（Compute Engine）来完成，存储引擎负责数据的读写和存储，计算引擎负责数据的查询和计算，两者之间通过接口进行通信和协作。在这套架构之上，我们就可以快速扩展多种协议支持，如 Redis、MongoDB、Cassandra、DynamoDB、InfluxDB。

2.2、存算分离&多模扩展核心优势

我们对于 GeminiDB 云原生架构的优势进行展开如下：

• 高可用 ：故障 "秒级" 接管，容忍 N-1 个节点故障。
• 弹性扩展 ：扩容速度比开源自建提升百倍。
• 分级存储 ：冷热分离，应用 "0" 改造。
• 高可靠：集群 3AZ 容灾，跨 Region 双活。

2.3、高可用：秒级故障接管

一个 GeminiDB 是一个分布式集群，包含了多个节点 ，下图示例中，包含三个节点，假设节点二和三出现任何意外，挂掉之后，负载可能很低，但也有可能出现故障情况，这时在 GeminiDB 中不需要搬迁数据，只需要改一个个路由表，具体如下图所示：

这里的 Slot 信息代表一个路由信息，我们可以看到节点 1 负责 0-2，节点 2 负责 3-5，节点 3 负责 6-8，当节点 2 和 3 挂掉之后，它们所负责 Slot 信息都会迁移给节点 1，这个过程不需要数据搬迁，只需要路由表修改，速度会非常的快，可以做到秒级接管 ；同时，活着的节点能够提供所有的服务，底层共享一个存储，节点 1 可以看见节点 2 和节点 3 维护的数据，实现容忍 N-1 个节点故障。

2.4、弹性扩展：扩计算，业务仅秒级抖动

我们把数据库扩展分成计算和存储两层。传统 NoSQL 在扩容时，不管是算力不够，还是数据量不够，都需要加一个节点，那就难免搬迁数据，下图展示了从节点 1 和节点 2 搬迁数据到节点 3 的过程，这个过程是很慢的，具体如下图所示：

在下图中我们可以看到，在开始阶段，OPS 和时延都是稳定的，但是在数据搬迁过程中可以看到它的延迟是上下波动的，在业务影响方面，吞吐也是上下波动的，并且整个过程持续时间非常久，结束之后才会进入平稳状态，具体如下图所示：

而 GeminiDB 扩容分为两种，首先是计算扩容，增加一条路由信息，把以前节点的路由信息分配给新的 DataNode3，可以看见底下的数据，完成计算分钟级扩容，具体如下图所示：

整个扩容过程中，在上图我们可以看到红色的线，时延是没有大的变化的。扩容之后时延下降了一点，算力得到了提升。OPS 也是一个线性的增长过程，分钟级就可以完成 1 个节点添加。

2.5、弹性扩展：扩存储，业务"0"感知

下图黄色线是某一个实例的存储上限，绿色线是业务数据的每天变化，可以看到业务数据每天都在增加，当到达拐点的时候，已经接近容量上限，如果不扩容就会进入那个只读状态，具体如下图所示：

这个时候，GeminiDB 扩容一键就可以完成，完全不影响业务。在存仓分离架构下，存储扩容对于我们来说就是调整配额的一个参数，当前 GeminiDB 可以满足用户 4GB-36TB 的平滑扩缩容。最新版本里已经支持自动扩容，用户在购买界面如果勾选自动扩容，当用户的数据量达到一定比例、配额的时候，根本不需要用户关心容量大小。

2.6、分级存储：自动化冷热交替，应用"0"改造

我们以 Influx 的一条插入语句为例，语句如下：

insert metric,host = server - 1 CPU = 70

插入过程从内存到分布式存储，同步插入过程中，会根据用户的配置参数，如定义热数据的时间，超过一定时间，就定义成冷数据，在异步过程中把数据推到远端的 obs 上，obs 对我们来说是冷存储，保证用户在共享存储中的热数据控制在一定范围内，节省用户存储成本。

我们以 Influx 的一条查询语句为例，语句如下：

Select CPU from metric where host = server - 1

在读的过程中，根据用户的输入，自动去存储做集合查询，把需要的结果返回给用户。

"冷热分离"，即买即用 ，当用户购买 GeminiDB 的时候，用户可以选择是否开启冷存储，同时冷存储的空间的范围也可以选定，在创建一张表的时候，指定好数据到期时间，如一周或者是一月，当数据插进来超过一周，定义为冷数据，整个过程对于用户"0"改造。

2.7、高可靠：Region 内 3AZ 容灾，跨 Region 双活

GeminiDB 高可靠实现分为两种，一种是单个 Region 内 3AZ 容灾，另一种是两个 Region 间的容灾。

单个 Region 内 3AZ 容灾，GeminiDB 支持 3AZ 可靠，计算和存储都是 3AZ 均衡分布的，用户购买的 3AZ 节点数大于 3 的时候，会将其均匀分布到不同 AZ 上，其中一个机房的计算、存储或者计算存储同时掉电，都能实现防御故障，不会影响整个实例的可靠性和可用性，数据既不会丢，可用性也不会下降。单个 Region 内 3AZ 容灾，具体如下图所示：

两个 Region 间的容灾，已经实现了 GeminiDB 两个实例间的数据复制，可以做到保序、断点序传，同时支持冲突解决。即在下图中，当用户从 B 中心写入一个数据，可以同步到 C 中心，C 中心写入的数据也可以同步到 B 中心。也就是说当一个 Region 级别的故障，如 B 中心发生故障，业务可以切到 B 中心实现熔灾。两个 Region 间的容灾，具体如下图所示：

三、GeminiDB 多模融合引擎

3.1、生态兼容，层次解耦，数据融合

GeminiDB 支持四种模型，主要有 KV 模型、文档模型、宽表模型和时序模型，表现在用户层面接口是五种，分别是 Redis 接口、MongoDB 接口、Cassandra 接口、DynamoDB 接口、Influx 接口，引擎层主要有 KV 引擎、搜索引擎和文档引擎，最底下就是存储层，具体如下图所示：

3.2、GeminiDB Redis 接口：提供稳定低时延

GeminiDB Redis 接口：提供稳定低时延，适用于广告、游戏场景。

• 无缝兼容 ：100% 兼容 Redis 协议，支持主备、集群。可轻松替代自建 Redis、自建 Pika，帮助 DBA 实现降本增效。
• 能力增强 ：提供 GeminiDB 独有特性，为业务开发提供更优解决方案。如 FastLoad 特征灌库、PITR 游戏回档、异地双活客灾、多租权限局离、布隆过滤器 Hash Field 过期等。

应用在广告场景的 FastLoad ，能够帮助用户一键式从 Hadoop、Spark 等大数据系统，一键导入到 GeminiDB 中，由 GeminiDB 提供给上游业务实现实时查询，具体如下图所示：

广告营销、个性推荐 等业务对时延敏感，也注重存储成本。对此类 AI 业务中 GeminiDB 是作为特征画像数据库的最佳选型：

• 性能稳定：10Gbit/s 超高带宽，时延平稳 p99~2ms；CPU 算力可弹性扩展。
• 存储降本：NVMe 分布式存储，叠加双重数据压缩，带来明确可见的成本节约。
• 功能增强：FastLoad 可实现海量数据极速灌库；Hash 数据可设置 field 过期。

PITR 游戏回档广泛应用于游戏场景，游戏场景中，如发版或者变更，经常需要把对应的数据库回挡到某一个时间点，GeminiDB 支持五分钟粒度的时间片回档，用户需要回荡到任意时间都可以在控制台上完成操作，并且支持原地回档，具体如下图所示：

游戏业务场景丰富，好友链、聊天、抢红包、排行榜...强依赖 Redis 丰富数据结构，同时对数据回档有诉求。GeminiDBm 提供游戏全服解决方案：

• 简化架构：自带可靠存储+缓存加速，可替代 DB+ Cache。
• 透明化开发：100% 兼容 Redis 全命令，开发当做普通 Redis 数据库使用即可。
• PITR 数据闪回：支持在游戏发版失误时快速回档到任意时间点，5min 粒度。

3.3、GeminiDB Mongo 接口：大容量&强一致

GeminiDB Mongo 接口：大容量&强一致，适用于互联网、游戏、社交。

• 兼容生态 ：100% 兼容 MongoDB 协议 ，可支持超大容量 96TB，提供副本集部署，并具备服务化迁移能力。

极速扩容 ：计算节点可极速增加多个只读节点，分钟级完成读节点扩展。存储资源秒级扩容，业务平滑无感知，具体如下图所示：

数据和服务高可靠 ：基于强一致一写多读消除 Read/Write Concern 的性能影响;主从同步毫秒级稳定延迟，彻底解决主从脱节问题；容忍 N-1 节点故障，依旧保持全量服务可用性，具体如下图所示：

3.4、GeminiDB Cassandra 接口：类 SQL 语法

GeminiDB Cassandra 接口：类 SQL 语法，适用于海量宽表存储场景。

• 兼容生态 ：100% 兼容 Cassandra 协议；类 SQL 语法，开发体验类似 MySQL。
• 能力增强：索引能力增强，轻松应对海量数据复杂查询场景；数据秒级闪回、PITR 等数据恢复能力，构筑极高的数据可靠性。
• 超高性能：2 倍读写性能提升；最高可支持 PB 级存储。

3.4.1、增强索引

增强索引，具体如下图所示：

关键技术点：

• 内嵌 Lucene 搜索引擎，与存储引擎搭配，实现宽表存储引擎与搜索引擎的深度融合。
• SQL 层统一融合，在兼容原生 Cassandra 语法基础上，提供多维查询、文本检索、模糊查询统计分析 等能力，全面提升用户在海量数据场景下的查询体验。

3.4.2、数据通道

数据通道，具体如下图所示：

关键技术点：

• Cassandra 流表特性，用于实时分析数据变化对标 AWS Stream 功能。
• 与大数据结合增强离线分析能力，效率提升 60%。

3.4.3、全局索引

全局索引，具体如下图所示：

关键技术点：

• 在原生 Cassandra 基础上对物化视图特性进行了增强，支持复合主键视图查询场景更丰富。
• 通过事务日志保证视图数据与原表数据的最终一致性。

3.5、GeminiDB DynamoDB 接口：助力 DynamoDB 客户平滑迁移

• 能力平替 ：100% 兼容 DynamoDB 协议和数据模型，关键特性全面对标。
• 平滑迁移：迁移过程不需要业务任何改造；支持全量+增量迁移，业务无需停服；反向数据同步，业务可随时回切。
• 低成本 ：在相同读写性能下，成本降低 50%，数据量越大成本降低越明显。

关键技术点：

• 无缝对接 ：协议全面兼容，业务无需改造。
• 无需停服：全量+增量迁移能力，助力平滑迁移，业务滚动切流即可。
• 无损回切：反向增量迁移能力，业务可随时回切，数据无丢失风险。

3.6、GeminiDB Influx 接口：时空数据存、算、析一体平台

GeminiDB Influx 接口：时空数据存、算、析一体平台，广泛用于 IoT 场景。

• 无缝兼容 ：100% 兼容 InfluxDB 协议，支持单机版、集群。可轻松替代自建 InfluxDB，提供更强的性能和更高的服务可用性。
• 能力增强：自适应压缩算法、多维时序索引、向量化 MPP 查询引擎、定制化聚合运算和 Rollup Cache 等，为业务开发提供更优解决方案。

四、GeminiDB 典型应用场景

4.1、GeminiDB 携手迷你创想开启全民创作的新时代

• 全球部署 ：全球 23 区域支持资源快速下发。
• 高性能：性能 5 倍提升，0.1ms 稳定无抖轻松支撑千万级玩家在线。
• 高可靠 ：数据强一致，TB 级地图数据实时同步更新。
• 快速安全扩容 ：秒级存储扩容，轻松应对 20X 轻业务高峰变化。

4.2、GeminiDB 支撑 RTA 广告业务快速上线

RTA（Realtime API）广告业务模式，用于满足广告主实时个性化的投放需求，在竞价中减少资金浪费，具体如下图所示：

• 稳定高效：稳定性远超开源缓存 Redis，业务运行更高效。
• 低成本：大容量的稳定存储，存储百 GB~数 TB 画像数据，成本比开源缓存 Redis 节约 50%。
• 低时延：数 + 万 QPS 流量，平均时延 1ms，p99 时延 2ms，保障终端用户丝滑体验。

4.3、GeminiDB 助力数字娱乐巨头客户 DynamoDB 迁移

客户旗下的多款 APP 全球累计安装用户数近 24 亿，覆盖 200 多个国家和地区，是全球领先的数字娱乐内容平台，具体如下图所示：

• 高性能、高可靠 ：性能得到 2 倍提升、数据强一致。
• 低成本 ：成本平均降低 40%。
• 快速安全扩容 ：分钟级 计算扩容、秒级存储扩容。
• 海量数据：集群规模 2000 核，单套实例最大 100TB 数据。

4.4、GeminiDB 助力华为终端云打造体验天花板

GeminiDB 助力华为终端云打造体验天花板，具体如下图所示：

• 总节点数 11000+。
• 总数据量 10PB+。
• 单集群最大 600 节点。
• 单集群 10万+ 并发响应。
• 单集群数据量最大 100TB。
• 跨 AZ 双活 RTO<10S、RPO=0。
• 跨 Region 多活 RPO<10s、实例级可用度 5 个 9。
• 分钟级计算扩容。
• 秒级存储扩容。

4.5、GeminiDB 助力 loT 场景数据分析实现万物互联

GeminiDB 助力 loT 场景数据分析实现万物互联，具体如下图所示：

• 海量设备管理 ：轻松支持亿级别设备管理。
• 专用压缩算法 ：压缩率提升 10X+。
• 高速并行写入 ：写性能提升 2X+ ，计算成本降低 30%。
• 成本降低 ：支持冷热分离存储 ，成本降低 80%。

---

总结

在这个信息爆炸的时代，数据的管理和应用变得越来越重要，多模数据库作为一种新兴的数据管理解决方案，正受到越来越多的关注。GeminiDB 的技术架构到底是什么，支持什么样的接口，又是如何同时支持多种数据模型，技术特征有哪些，适用于什么样的场景呢，通过本文我们详细了解了华为云云原生多模数据库 GeminiDB 架构与应用实践。

---

我是白鹿，一个不懈奋斗的程序猿。望本文能对你有所裨益，欢迎大家的一键三连！若有其他问题、建议或者补充可以留言在文章下方，感谢大家的支持！