TiDB 企业版全新升级,平凯数据库核心特性全解读

作为 TiDB 企业版的全新升级,平凯数据库一经推出便广受媒体及用户关注。 近日,平凯星辰首席科学家丁岩在"平凯数据库全解读"活动中,首次详细介绍了平凯数据库的核心能力。 本文为丁岩演讲实录全文,为方便阅读,已做部分编辑。

平凯数据库(TiDB 企业版)由 TiDB 社区版 + 三个核心组件 + 国产化生态 + 企业级服务组成。平凯数据库依托于 TiDB 社区版,继承了社区版的全部能力,在此基础上增加了图形化平台组件、企业级安全组件和企业级通用组件,全面兼容国产化生态,并提供了增强级的企业级服务。

平凯数据库主要包含以下核心优势:

● 自主研发,代码级可控。平凯数据库核心代码全部自研;

● 平凯数据库高度兼容 MySQL 协议和生态,能够平滑迁移替换 MySQL 数据库。并具备平滑迁移 Oracle 数据库的能力,与 Hadoop、Spark、Flink、Kafka、Pulsar 等大数据技术栈的广泛融合,并与国内主流芯片、整机、操作系统、中间件等国产化软硬件兼容;

● 平凯数据库具备新一代的 HTAP 架构,能够加速业务洞察;

● TiDB 客户有很多来自金融行业,包括银行、保险和证券。平凯数据库具有金融级可靠性与可用性,经过大量用户生产环境实际运维验证;

● 平凯数据库提供了丰富的企业级配套工具,在安全保护方面提供更完善的能力,使客户用起来放心,在信息安全保护方面符合国标及行标。

一、平凯数据库全功能解读

上图是平凯数据库(TiDB 企业版)功能架构全景图。中间部分是平凯数据库的内核模块,包括计算层、管理层和存储层。计算层负责数据请求的解析、优化和执行;存储层包括行存、列存,负责对数据存储进行分布式一致性管理;管理层负责全局的调度和元数据信息管理。右侧是平凯数据库的配套周边工具,包括自动化部署、数据同步、备份恢复、数据导入、云原生管控、仪表盘、大数据生态等等。左侧是平凯数据库的三个图形化组件,包括企业级异构迁移平台 TMS,它提供数据的采集、迁移、过滤、同步、加密传输、比对等等一系列功能,帮助用户将业务从 Oracle 数据库迁移到平凯数据库;企业级运维管理平台 TEM,帮助用户通过一个图形化的统一运营管理平台,一体化管理几十套集群,甚至上千个平凯数据库服务器,提供数据库集群的部署、配置、升级、备份恢复、监控告警等任务,通过一套完整的运维平台,用户可以轻松降低管理的复杂度和运维成本;企业级开发编辑器 SQL edit,可以帮助平凯数据库的开发者和管理者进行图形化的 SQL 编辑交互操作、并将执行与结果反馈在图形化平台界面上,提高 SQL 的编辑效率。在整个功能架构图的最下面是平凯数据库的安全机制。针对敏感数据,平凯数据库专门增强了安全机制,包括审计、档案控制、加密解密、权限控制。在安全方面,平凯数据库严格符合国标、行标,让用户用起来放心。最后,平凯数据库提供灵活的基础设施部署方式,无论在 X86 体系下还是在国产化的体系下,均支持物理机环境和云化环境的部署方式。

顺便介绍一下 TiDB 7.5 LTS 版本,作为 TiDB 内核的稳定版本,它将在年底发布,会推出更多的内核特性,全面兼容 MySQL 8.0、更强大的资源管控能力,DDL 并行执行框架正式发布等等。TiDB 内核将在可扩展性、性能表现方面全面提升,同时稳定性、高可用性、SQL、管理可观测性等方面也将大幅提升。右侧是 TiDB 7.5 LTS 详细的新特性,包括增强 TiKV 副本读写能力,TiFlash 支持 S3 存储,支持后台任务的资源管控,用 SQL 接口支持导入、备份和恢复,TiCDC 支持多个上游和大数据系统的集成,升级期间自动暂停/恢复 DDL 等等。

二、平凯数据库发展路线

下面来看一下平凯数据库的发展路线。 现阶段,平凯数据库在 TiDB 内核的基础上新增支持了如下特性:

● 兼容 MySQL 存储过程。有一些用户过去使用了 MySQL 存储过程的特性,在迁移过程中,平凯数据库支持 MySQL 的存储过程,方便业务的迁移;

● 平凯数据库是第一批支持国标 GB18030-2022 标准测试的数据库;

● 支持 CHECK 约束;

● 支持被动恢复存储级的备份恢复,比逻辑级的备份恢复效率有大幅的提升;

● 支持 LDAP 第三方认证;

● 支持白名单/审计;

● 支持用户历史登陆信息查询;

● 支持用户级最大连接数设置。

● 支持国产化芯片、操作系统、中间件、服务器兼容

下一阶段,平凯数据库会加入更多支持企业级特性,丰富大数据生态,支持 ORC 格式文件的导入;支持 IPv4/IPv6 双栈模式;存储过程加强更多的特性与性能优化;安全方面支持更细粒度的权限控制、标签控制。

第三阶段,平凯数据库将进一步提升安全功能方面的需求支持,以及特定化场景的功能支持如 UDV 等。

三、平凯数据库解决方案体系

平凯数据库除了产品本身,还提供全方位的解决方案。包括 用户在 面向未来的数据库选型、咨询、规划方面的方案 ,平 凯数据库提供选型咨询和规划建议,以及数据应用 5R 模型; 现有数据库迁移的方案 , 例如上游超大规模数据导入,我们在大行有数百 TB 级别替换 Oracle 和 MongoDB 的成熟案例。向下游数据库进行数据复制方面,我们有非常稳定的复制工具。此外,还有两地三中心,双活等数据库高可用方案,以及数据库云方案; 系统重构、新建数据库应用/行业方案 ,如复杂数据密集型应用方案、降本增效方案、数据库行业场景方案。平凯数据库还可以根据用户的需求和业务特点,制定不同的解决方案覆盖各行各业。

平凯星辰成立八年多来,随着用户不断增多,产业影响力也在持续提升。我们积极参加国家和行业标准制定,例如第一个分布式数据库技术要求国标,事务分析混合型数据库的技术要求,金融应用规范技术架构行业标准等等。我们还参与了各种行业课题和研究报告,如人行的分布式数据库上云及多租户的研究,金融行业国产数据库运维体系建设,金融应用国产化全栈适配性研究,工信部的电子五所的中国数据库产业发展研究报告、分布式事务的评测技术白皮书,信通院的开源社区成熟度白皮书等等。中国工程院倪光南院士也给平凯星辰寄予厚望,希望继续通过自主和开源两大战略,构建具有国际影响力的数据库开源社区,在全球数据库产业新一轮变革中强占话语权、主导权。

四、深耕国产化生态

在国产化生态方面,平凯数据库依托 TiDB 的开源社区,从基础架构、行业科技、解决方案、服务、交付、云、战略合作等等各个方面,实现了全方面的国产化生态兼容。在基础架构方面,支持飞腾、鲲鹏、兆芯、龙芯等生态,全面兼容国产服务器技术架构;在行业方面,支持包括平安科技、北银金科、中国太平等等行业科技生态;在解决方案和工具生态方面,支持包括东软、华润、神州数码、宇信等等行业配套解决方案;在产品交付、服务生态方面,也有包括神州数码在内的众多合作伙伴,一起为客户提供高质量的交付;在云方面,与包括阿里云、移动云、金山云、青云等都有全面合作;在战略合作生态方面,与神州数码、天翼云、中电金信、中科软等等都是战略合作伙伴。

数据库是用出来的,平凯数据库的用户几乎覆盖了所有行业,比如银行、保险、证券等金融行业,包括国有大行、股份制、城商行、证券,保险等都是我们的客户。其他行业,如政府和公共服务、通信领域、能源电网、物流、制造与高科技、快消和零售、互联网创新等等都与我们有合作。由此可以看出,平凯数据库的行业的覆盖非常全面。不同行业对数据库有着不同的关键应用,对数据库的能力要求也是不一样的。平凯星辰能够在这么多行业里广泛应用,也说明了它的产品能力是得到广泛验证的。

数据库的迁移路径主要有两类,一种是经典的单机数据库。比如从 Oracle 迁移到平凯数据库,这是由一个从封闭的、闭源的数据库、闭源的生态,迁移到一个开放的生态,开源的数据库产品;另一种就是从经典的开源数据库,比如 MySQL,迁移到平凯数据库来,通常是从分散到很多个 MySQL 实例上整合到一个平凯数据库集群。在这种迁移中,用户就获得了更强的扩展性,以及 HTAP 的能力,获得了自主和可持续的能力与生态,同时带给用户省钱、省心两方面的价值。

五、金融行业应用案例

案例一是某大行的经典单机数据库升级。上图左侧是一个 Oracle 的经典数据库一体机系统。各个交易系统把交易明细通过夜间平移写入数据库一体机来处理,作为会计引擎业务,再同步给数仓系统。客户的挑战一方面是这个单机系统,无论数据容量,还是处理能力,都已经无法满足业务的快速发展,装不下,也算不出来,这是单机系统的上限限制。右侧是迁移到平凯数据库之后的情况,超过八天的数据量放在 A 集群里面,这部分数据更重要,可靠性要求更高,承载着 100% 的读写逻辑。八天之后的放在 B 集群,由于它主要承担读的负载,容量非常少,所以大大减少机器的配置。可以看出,在新的架构上面,无论是存储容量,还是数据库的处理能力,都获得了大幅度提升,能够很好满足客户业务快速发展的需求,给客户带来一个全新的支撑能力,满足客户未来十年、二十年的发展需要,这也是分布式数据库横向扩展能力的体现。

案例二是某证券公司的数据库整合的降本增效。左侧是该公司从前使用的多个 MySQL 实例方案,有多个 MySQL 节点,多个库,多个实例。由于它需要为未来业务增长预留资源,所以造成部分业务资源的利用率高,部分资源的利用率非常低,总体上资源是非常浪费的。从图中可以看到占有率是 10%、40%、20%、10%,这对硬件资源的浪费非常大。现在几乎所有用户都要求降本增效,从右侧图可以看出,通过一套平凯数据库集群,借助多租户的资源池能力、弹性扩缩容的能力,用户的硬件成本和运维成本降低了 40%。同时,一套平凯数据库集群承担这么多业务,整体的资源利用率却达到 80%,给客户带来了极大的成本节约,运维成本也极大降低了。

六、平凯数据库市场竞争力

最后来看一下平凯数据库的市场竞争力,主要分为三个方面:

第一,自主可信。平凯数据库有一个可靠的、稳定的软件供应链,没有使用 MySQL、 PG 一行代码,核心部分的代码完全自研;自营产业上游社区,平凯数据库产品上游是平凯星辰 主导的开源根社区。

第二,产品能力。数据库是用出来的,平凯星辰全球有 3000 多个客户,产品经过千锤百炼。同时,平凯数据库通过了国家工信安全发展研究中心、工信部电子四院、工信部电子五所、中国信通院、赛迪、国家金融科技认证中心等权威机构的测试评估,获得了产品、性能、质量、标准符合性等一系列证书和报告。

第三,落地能力。平凯数据库依托自主开源,已验证信息创新领域,用起来,走出去的自我造血能力双循环的模式。并坚持研发的长期战略,理念先行,而不是项目先行,技术理念被业界广泛引用;生态非常繁荣,具有可持续竞争力。数据库要用的好,必须有一个全面的、完整的生态,平凯数据库拥有海量的业务场景和客户案例,200 多个应用解决方案,超过 30000 多人的活跃用户社区,并联合国内五所顶级数据库特色名校,把核心技术纳入大学课程,有培训上万人的认证考试。

业务场景的多元化对海量数据高并发读写、实时分析的需求成为常态,传统商业数据库支撑乏力。从敏捷开发、技术自主、业务连续性等角度考虑,企业用户更倾向选用国产分布式数据库实现架构的跃迁。平凯数据库( TiDB 企业版)在企业级管理、异构迁移的机制和生态层面实现了全面增强,成为用户数据库升级和国产化改造的重要选择。

相关推荐
小诸葛的博客1 小时前
pg入门1——使用容器启动一个pg
数据库
sleP4o2 小时前
Python操作MySQL
开发语言·python·mysql
大熊程序猿2 小时前
python 读取excel数据存储到mysql
数据库·python·mysql
落落落sss2 小时前
sharding-jdbc分库分表
android·java·开发语言·数据库·servlet·oracle
jnrjian2 小时前
Oracle 启动动态采样 自适应执行计划
数据库·oracle
知识分享小能手3 小时前
mysql学习教程,从入门到精通,SQL DISTINCT 子句 (16)
大数据·开发语言·sql·学习·mysql·数据分析·数据库开发
lamb张3 小时前
MySQL锁
数据库·mysql
ForRunner1233 小时前
使用 Python 高分解决 reCAPTCHA v3 的指南
数据库·python·microsoft
躺平的花卷4 小时前
Python爬虫案例六:抓取某个地区某月份天气数据并保存到mysql数据库中
数据库·爬虫·python·mysql