云原生分布式多模架构：华为云多模数据库 GeminiDB 架构与应用实践

文章目录

前言
[一、GeminiDB 总体介绍](#一、GeminiDB 总体介绍)
- 1.1、华为云数据库全景图
- [1.2、GeminiDB 发展历程](#1.2、GeminiDB 发展历程)
- [1.3、GeminiDB 全球分布情况](#1.3、GeminiDB 全球分布情况)
[二、GeminiDB 云原生架构](#二、GeminiDB 云原生架构)
- 2.1、核心设计：存算分离&多模扩展
- 2.2、存算分离&多模扩展核心优势
- 2.3、高可用：秒级故障接管
- 2.4、弹性扩展：扩计算，业务仅秒级抖动
- 2.5、弹性扩展：扩存储，业务"0"感知
- 2.6、分级存储：自动化冷热交替，应用"0"改造
- [2.7、高可靠：Region 内 3AZ 容灾，跨 Region 双活](#2.7、高可靠：Region 内 3AZ 容灾，跨 Region 双活)
[三、GeminiDB 多模融合引擎](#三、GeminiDB 多模融合引擎)
- 3.1、生态兼容，层次解耦，数据融合
- [3.2、GeminiDB Redis 接口：提供稳定低时延](#3.2、GeminiDB Redis 接口：提供稳定低时延)
- [3.3、GeminiDB Mongo 接口：大容量&强一致](#3.3、GeminiDB Mongo 接口：大容量&强一致)
- [3.4、GeminiDB Cassandra 接口：类 SQL 语法](#3.4、GeminiDB Cassandra 接口：类 SQL 语法)
- [3.5、GeminiDB DynamoDB 接口：助力 DynamoDB 客户平滑迁移](#3.5、GeminiDB DynamoDB 接口：助力 DynamoDB 客户平滑迁移)
- [3.6、GeminiDB Influx 接口：时空数据存、算、析一体平台](#3.6、GeminiDB Influx 接口：时空数据存、算、析一体平台)
[四、GeminiDB 典型应用场景](#四、GeminiDB 典型应用场景)
- [4.1、GeminiDB 携手迷你创想开启全民创作的新时代](#4.1、GeminiDB 携手迷你创想开启全民创作的新时代)
- [4.2、GeminiDB 支撑 RTA 广告业务快速上线](#4.2、GeminiDB 支撑 RTA 广告业务快速上线)
- [4.3、GeminiDB 助力数字娱乐巨头客户 DynamoDB 迁移](#4.3、GeminiDB 助力数字娱乐巨头客户 DynamoDB 迁移)
- [4.4、GeminiDB 助力华为终端云打造体验天花板](#4.4、GeminiDB 助力华为终端云打造体验天花板)
- [4.5、GeminiDB 助力 loT 场景数据分析实现万物互联](#4.5、GeminiDB 助力 loT 场景数据分析实现万物互联)
总结

前言

在本文中我们联合华为云 NoSQL 数据库研发总监余汶龙，与您一起探讨华为云多模数据库 GeminiDB 的技术架构，以及它们如何革新当代应用的数据处理方式，内容包括介绍云原生分布式多模架构，四种数据模型接口及其竞争力特性，GeminiDB 的应用场景：游戏、监控、智慧生活、无损迁移。

一、GeminiDB 总体介绍

1.1、华为云数据库全景图

华为云数据库目前在各行各业得到了市场上的广泛认可，包括中国一汽其 ERP 核心系统使用的是华为云数据库，永安保险理赔系统使用的是华为云数据库，其他如电商平台、游戏厂商等等，当然也有银行的一些核心系统，如信用卡等，那么华为云数据库主要分成哪几个部分呢？具体如下图所示：

华为云数据库主要分成三个部分 ，首先底层是迁移工具 ，能够支持用户平滑上云，上一层是开源托管数据库 ，最上层是自研数据库 ，其中 GeminiDB 是我们本文内容的重点，它是一款由 KV、文档、宽表和时序组成的一个超融合的多模数据库。

1.2、GeminiDB 发展历程

GeminiDB 引领 NoSQL 存算分离架构，持续战略投入，打造世界级数据库，GeminiDB 发展历程具体如下图所示：

结合 GeminiDB 发展历程，我们将其成就归纳为以下几点：

国内第一款：存算分离架构 NoSQL 数据库。
100% 兼容：5 款最热门生态，Redis、MongoDB、Cassandra、DynamoDB、InfluxDB。
0 秒 RPO ：3AZ 高可用实例，0 秒 RPO，数据"0"丢失。
RTO 10 秒 ：实例故障恢复，RTO 10 秒内完成。
99.995% SLA ：高可用双活实例承诺，99.995% SLA，服务可用性保证远超国内其他厂商。

1.3、GeminiDB 全球分布情况

GeminiDB 全球一张网布局，服务全球客户，具体如下图所示：

如上图所示，当前 GeminiDB 已经分布在全球 23 个 Region，有 66 个可用区，共服务了全球 2000 多家大型企业，包括那个互联网金融、政府、电信等，当前在国内主要局点涵盖北、上、广、深等主流 Region，在海外主要有中东、亚太、欧洲及美洲。

二、GeminiDB 云原生架构

2.1、核心设计：存算分离&多模扩展

GeminiDB 云原生架构设计的核心分为存算分离和多模扩展两个部分，具体如下图所示：

数据库的存算分离是指将数据库的存储和计算功能分离开来，分别由不同的组件来完成 。通过将存储和计算功能分开，实现了更高的灵活性和扩展性。具体来说，存储功能由存储引擎（Storage Engine）来完成，计算功能由计算引擎（Compute Engine）来完成，存储引擎负责数据的读写和存储，计算引擎负责数据的查询和计算，两者之间通过接口进行通信和协作。在这套架构之上，我们就可以快速扩展多种协议支持，如 Redis、MongoDB、Cassandra、DynamoDB、InfluxDB。

2.2、存算分离&多模扩展核心优势

我们对于 GeminiDB 云原生架构的优势进行展开如下：

高可用 ：故障 "秒级" 接管，容忍 N-1 个节点故障。
弹性扩展 ：扩容速度比开源自建提升百倍。
分级存储 ：冷热分离，应用 "0" 改造。
高可靠：集群 3AZ 容灾，跨 Region 双活。

2.3、高可用：秒级故障接管

一个 GeminiDB 是一个分布式集群，包含了多个节点 ，下图示例中，包含三个节点，假设节点二和三出现任何意外，挂掉之后，负载可能很低，但也有可能出现故障情况，这时在 GeminiDB 中不需要搬迁数据，只需要改一个个路由表，具体如下图所示：

这里的 Slot 信息代表一个路由信息，我们可以看到节点 1 负责 0-2，节点 2 负责 3-5，节点 3 负责 6-8，当节点 2 和 3 挂掉之后，它们所负责 Slot 信息都会迁移给节点 1，这个过程不需要数据搬迁，只需要路由表修改，速度会非常的快，可以做到秒级接管 ；同时，活着的节点能够提供所有的服务，底层共享一个存储，节点 1 可以看见节点 2 和节点 3 维护的数据，实现容忍 N-1 个节点故障。

2.4、弹性扩展：扩计算，业务仅秒级抖动

我们把数据库扩展分成计算和存储两层。传统 NoSQL 在扩容时，不管是算力不够，还是数据量不够，都需要加一个节点，那就难免搬迁数据，下图展示了从节点 1 和节点 2 搬迁数据到节点 3 的过程，这个过程是很慢的，具体如下图所示：

在下图中我们可以看到，在开始阶段，OPS 和时延都是稳定的，但是在数据搬迁过程中可以看到它的延迟是上下波动的，在业务影响方面，吞吐也是上下波动的，并且整个过程持续时间非常久，结束之后才会进入平稳状态，具体如下图所示：

而 GeminiDB 扩容分为两种，首先是计算扩容，增加一条路由信息，把以前节点的路由信息分配给新的 DataNode3，可以看见底下的数据，完成计算分钟级扩容，具体如下图所示：

整个扩容过程中，在上图我们可以看到红色的线，时延是没有大的变化的。扩容之后时延下降了一点，算力得到了提升。OPS 也是一个线性的增长过程，分钟级就可以完成 1 个节点添加。

2.5、弹性扩展：扩存储，业务"0"感知

下图黄色线是某一个实例的存储上限，绿色线是业务数据的每天变化，可以看到业务数据每天都在增加，当到达拐点的时候，已经接近容量上限，如果不扩容就会进入那个只读状态，具体如下图所示：

这个时候，GeminiDB 扩容一键就可以完成，完全不影响业务。在存仓分离架构下，存储扩容对于我们来说就是调整配额的一个参数，当前 GeminiDB 可以满足用户 4GB-36TB 的平滑扩缩容。最新版本里已经支持自动扩容，用户在购买界面如果勾选自动扩容，当用户的数据量达到一定比例、配额的时候，根本不需要用户关心容量大小。

2.6、分级存储：自动化冷热交替，应用"0"改造

我们以 Influx 的一条插入语句为例，语句如下：

sql 复制代码

insert metric,host = server - 1 CPU = 70

插入过程从内存到分布式存储，同步插入过程中，会根据用户的配置参数，如定义热数据的时间，超过一定时间，就定义成冷数据，在异步过程中把数据推到远端的 obs 上，obs 对我们来说是冷存储，保证用户在共享存储中的热数据控制在一定范围内，节省用户存储成本。

我们以 Influx 的一条查询语句为例，语句如下：

sql 复制代码

Select CPU from metric where host = server - 1

在读的过程中，根据用户的输入，自动去存储做集合查询，把需要的结果返回给用户。

"冷热分离"，即买即用 ，当用户购买 GeminiDB 的时候，用户可以选择是否开启冷存储，同时冷存储的空间的范围也可以选定，在创建一张表的时候，指定好数据到期时间，如一周或者是一月，当数据插进来超过一周，定义为冷数据，整个过程对于用户"0"改造。

2.7、高可靠：Region 内 3AZ 容灾，跨 Region 双活

GeminiDB 高可靠实现分为两种，一种是单个 Region 内 3AZ 容灾，另一种是两个 Region 间的容灾。

单个 Region 内 3AZ 容灾，GeminiDB 支持 3AZ 可靠，计算和存储都是 3AZ 均衡分布的，用户购买的 3AZ 节点数大于 3 的时候，会将其均匀分布到不同 AZ 上，其中一个机房的计算、存储或者计算存储同时掉电，都能实现防御故障，不会影响整个实例的可靠性和可用性，数据既不会丢，可用性也不会下降。单个 Region 内 3AZ 容灾，具体如下图所示：

两个 Region 间的容灾，已经实现了 GeminiDB 两个实例间的数据复制，可以做到保序、断点序传，同时支持冲突解决。即在下图中，当用户从 B 中心写入一个数据，可以同步到 C 中心，C 中心写入的数据也可以同步到 B 中心。也就是说当一个 Region 级别的故障，如 B 中心发生故障，业务可以切到 B 中心实现熔灾。两个 Region 间的容灾，具体如下图所示：

三、GeminiDB 多模融合引擎

3.1、生态兼容，层次解耦，数据融合

GeminiDB 支持四种模型，主要有 KV 模型、文档模型、宽表模型和时序模型，表现在用户层面接口是五种，分别是 Redis 接口、MongoDB 接口、Cassandra 接口、DynamoDB 接口、Influx 接口，引擎层主要有 KV 引擎、搜索引擎和文档引擎，最底下就是存储层，具体如下图所示：

3.2、GeminiDB Redis 接口：提供稳定低时延

GeminiDB Redis 接口：提供稳定低时延，适用于广告、游戏场景。

无缝兼容 ：100% 兼容 Redis 协议，支持主备、集群。可轻松替代自建 Redis、自建 Pika，帮助 DBA 实现降本增效。
能力增强 ：提供 GeminiDB 独有特性，为业务开发提供更优解决方案。如 FastLoad 特征灌库、PITR 游戏回档、异地双活客灾、多租权限局离、布隆过滤器 Hash Field 过期等。

应用在广告场景的 FastLoad ，能够帮助用户一键式从 Hadoop、Spark 等大数据系统，一键导入到 GeminiDB 中，由 GeminiDB 提供给上游业务实现实时查询，具体如下图所示：

广告营销、个性推荐 等业务对时延敏感，也注重存储成本。对此类 AI 业务中 GeminiDB 是作为特征画像数据库的最佳选型：

性能稳定：10Gbit/s 超高带宽，时延平稳 p99~2ms；CPU 算力可弹性扩展。
存储降本：NVMe 分布式存储，叠加双重数据压缩，带来明确可见的成本节约。
功能增强：FastLoad 可实现海量数据极速灌库；Hash 数据可设置 field 过期。

PITR 游戏回档广泛应用于游戏场景，游戏场景中，如发版或者变更，经常需要把对应的数据库回挡到某一个时间点，GeminiDB 支持五分钟粒度的时间片回档，用户需要回荡到任意时间都可以在控制台上完成操作，并且支持原地回档，具体如下图所示：

游戏业务场景丰富，好友链、聊天、抢红包、排行榜...强依赖 Redis 丰富数据结构，同时对数据回档有诉求。GeminiDBm 提供游戏全服解决方案：

简化架构：自带可靠存储+缓存加速，可替代 DB+ Cache。
透明化开发：100% 兼容 Redis 全命令，开发当做普通 Redis 数据库使用即可。
PITR 数据闪回：支持在游戏发版失误时快速回档到任意时间点，5min 粒度。

3.3、GeminiDB Mongo 接口：大容量&强一致

GeminiDB Mongo 接口：大容量&强一致，适用于互联网、游戏、社交。

兼容生态 ：100% 兼容 MongoDB 协议 ，可支持超大容量 96TB，提供副本集部署，并具备服务化迁移能力。

极速扩容 ：计算节点可极速增加多个只读节点，分钟级完成读节点扩展。存储资源秒级扩容，业务平滑无感知，具体如下图所示：

数据和服务高可靠 ：基于强一致一写多读消除 Read/Write Concern 的性能影响;主从同步毫秒级稳定延迟，彻底解决主从脱节问题；容忍 N-1 节点故障，依旧保持全量服务可用性，具体如下图所示：

3.4、GeminiDB Cassandra 接口：类 SQL 语法

GeminiDB Cassandra 接口：类 SQL 语法，适用于海量宽表存储场景。

兼容生态 ：100% 兼容 Cassandra 协议；类 SQL 语法，开发体验类似 MySQL。
能力增强：索引能力增强，轻松应对海量数据复杂查询场景；数据秒级闪回、PITR 等数据恢复能力，构筑极高的数据可靠性。
超高性能：2 倍读写性能提升；最高可支持 PB 级存储。

3.4.1、增强索引

增强索引，具体如下图所示：

关键技术点：

内嵌 Lucene 搜索引擎，与存储引擎搭配，实现宽表存储引擎与搜索引擎的深度融合。
SQL 层统一融合，在兼容原生 Cassandra 语法基础上，提供多维查询、文本检索、模糊查询统计分析 等能力，全面提升用户在海量数据场景下的查询体验。

3.4.2、数据通道

数据通道，具体如下图所示：

关键技术点：

Cassandra 流表特性，用于实时分析数据变化对标 AWS Stream 功能。
与大数据结合增强离线分析能力，效率提升 60%。

3.4.3、全局索引

全局索引，具体如下图所示：

关键技术点：

在原生 Cassandra 基础上对物化视图特性进行了增强，支持复合主键视图查询场景更丰富。
通过事务日志保证视图数据与原表数据的最终一致性。

3.5、GeminiDB DynamoDB 接口：助力 DynamoDB 客户平滑迁移

能力平替 ：100% 兼容 DynamoDB 协议和数据模型，关键特性全面对标。
平滑迁移：迁移过程不需要业务任何改造；支持全量+增量迁移，业务无需停服；反向数据同步，业务可随时回切。
低成本 ：在相同读写性能下，成本降低 50%，数据量越大成本降低越明显。

关键技术点：

无缝对接 ：协议全面兼容，业务无需改造。
无需停服：全量+增量迁移能力，助力平滑迁移，业务滚动切流即可。
无损回切：反向增量迁移能力，业务可随时回切，数据无丢失风险。

3.6、GeminiDB Influx 接口：时空数据存、算、析一体平台

GeminiDB Influx 接口：时空数据存、算、析一体平台，广泛用于 IoT 场景。

无缝兼容 ：100% 兼容 InfluxDB 协议，支持单机版、集群。可轻松替代自建 InfluxDB，提供更强的性能和更高的服务可用性。
能力增强：自适应压缩算法、多维时序索引、向量化 MPP 查询引擎、定制化聚合运算和 Rollup Cache 等，为业务开发提供更优解决方案。

四、GeminiDB 典型应用场景

4.1、GeminiDB 携手迷你创想开启全民创作的新时代

全球部署 ：全球 23 区域支持资源快速下发。
高性能：性能 5 倍提升，0.1ms 稳定无抖轻松支撑千万级玩家在线。
高可靠 ：数据强一致，TB 级地图数据实时同步更新。
快速安全扩容 ：秒级存储扩容，轻松应对 20X 轻业务高峰变化。

4.2、GeminiDB 支撑 RTA 广告业务快速上线

RTA（Realtime API）广告业务模式，用于满足广告主实时个性化的投放需求，在竞价中减少资金浪费，具体如下图所示：

稳定高效：稳定性远超开源缓存 Redis，业务运行更高效。
低成本：大容量的稳定存储，存储百 GB~数 TB 画像数据，成本比开源缓存 Redis 节约 50%。
低时延：数 + 万 QPS 流量，平均时延 1ms，p99 时延 2ms，保障终端用户丝滑体验。

4.3、GeminiDB 助力数字娱乐巨头客户 DynamoDB 迁移

客户旗下的多款 APP 全球累计安装用户数近 24 亿，覆盖 200 多个国家和地区，是全球领先的数字娱乐内容平台，具体如下图所示：

高性能、高可靠 ：性能得到 2 倍提升、数据强一致。
低成本 ：成本平均降低 40%。
快速安全扩容 ：分钟级 计算扩容、秒级存储扩容。
海量数据：集群规模 2000 核，单套实例最大 100TB 数据。

4.4、GeminiDB 助力华为终端云打造体验天花板

GeminiDB 助力华为终端云打造体验天花板，具体如下图所示：

总节点数 11000+。
总数据量 10PB+。
单集群最大 600 节点。
单集群 10万+ 并发响应。
单集群数据量最大 100TB。
跨 AZ 双活 RTO<10S、RPO=0。
跨 Region 多活 RPO<10s、实例级可用度 5 个 9。
分钟级计算扩容。
秒级存储扩容。

4.5、GeminiDB 助力 loT 场景数据分析实现万物互联

GeminiDB 助力 loT 场景数据分析实现万物互联，具体如下图所示：

海量设备管理 ：轻松支持亿级别设备管理。
专用压缩算法 ：压缩率提升 10X+。
高速并行写入 ：写性能提升 2X+ ，计算成本降低 30%。
成本降低 ：支持冷热分离存储 ，成本降低 80%。

总结

在这个信息爆炸的时代，数据的管理和应用变得越来越重要，多模数据库作为一种新兴的数据管理解决方案，正受到越来越多的关注。GeminiDB 的技术架构到底是什么，支持什么样的接口，又是如何同时支持多种数据模型，技术特征有哪些，适用于什么样的场景呢，通过本文我们详细了解了华为云云原生多模数据库 GeminiDB 架构与应用实践。

我是白鹿，一个不懈奋斗的程序猿。望本文能对你有所裨益，欢迎大家的一键三连！若有其他问题、建议或者补充可以留言在文章下方，感谢大家的支持！