云原生在确保企业数字化转型中资源快速供给、按需使用的同时,支持敏捷的应用开发、稳定的交付运维,加速企业的敏捷创新,是企业数字化转型、智能化升级的必经之路。数据仓库服务GaussDB(DWS)是基于融合数据仓库GaussDB产品的云原生服务,今天跟大家谈谈华为云数据仓库服务五大核心优势。
首先,说明一下数据仓库服务的基本概念:数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态,为各行业PB级海量大数据分析提供有优势的解决方案。DWS提供存算一体、存算分离多种产品形态,围绕企业级内核、实时分析、协同计算、融合分析、云原生五大方向构筑业界第一数据仓库。
与传统数据仓库相比,华为云数据仓库服务五大核心优势如下:
核心优势一:支持跨源数据融合分析、冷热数据分级存储
融合分析能力是云原生数据仓库GaussDB(DWS)核心亮点之一。GaussDB(DWS)采用一套SQL引擎,支持Oracle、Mysql、HDFS等多源数据融合分析,并通过算子下推、加速集群等技术对分析性能进行了大幅优化,在数据免搬迁的前提下,实现了跨源数据免搬迁、高效分析。
GaussDB(DWS)云原生数据仓库支持冷热数据多温存储,热数据存储于数仓内部,以获得良好的查询分析性能,冷数据可分级存储到更低成本的OBS中,不仅降低存储成本,并且在OBS内,通过合法鉴权,数据能够共享开放,供其他引擎处理分析,GaussDB(DWS)当前已经支持根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据进行"冷热"分级管理;这不仅可以提高数据分析性能还能降低业务成本。
核心优势二:聚合量算力,软硬垂直优化,效率最优
GaussDB(DWS)主要通过多层级全并行架构来实现。
并行的第一个层级,是集群内物理节点间的并行,CN将计划动态分布到多个服务器,通过分布式执行框架,将查询计划在集群内多台物理节点并行执行;
第二个层级,是算子级并行,在每个服务器内,查询算子能够利用一个节点内多个CPU核心进行并行计算;
第三个层级,是在一个CPU核心的指令序列中支持SIMD指令,结合向量化引擎,能实现一个指令同时操作多条数据。
核心优势三:云分布式、按需扩展,大而有序
Shared-Nothing开放架构,可随时根据业务情况增加节点,扩展系统的数据存储能力和查询分析性能。在Shared-Nothing全分布式架构下,实现了容量线性扩展,在数据加载、数据分析性能上同样实现了线性扩展,从小集群逐步扩展到大集群规模过程中,随着节点数增加,线性扩展比可以高达0.8。而且扩容不中断业务,扩容过程中支持数据增、删、改、查,及DDL操作(Drop/Truncate/Alter table),表级别扩容技术,扩容期间业务不中断、无感知。
核心优势四:高可用设计,数据无忧、永远在线
产品所有内部组件CN、DN、GTM、CM等采用多活或主备设计,通过集群管理进行故障检测和切换。其次,在硬件层面,除了最基本的宕机、断网的直接故障外,GaussDB(DWS)还针对夯死、慢节点、亚健康等僵而不死的复杂场景,做了大量的建模和针对性优化,能够实现故障的准确探测和自愈。在数据可靠性方面,GaussDB(DWS)独创的"主-备-从"技术,引入"主"、"备"、"从"三种角色。集群正常时数据仅在主备间进行同步,发生单点故障时数据向"从"同步,从而保证任何状况下都有两副本的数据冗余。在网络分区等异常场景下,一旦主备产生数据分叉,从备又可以承担仲裁者的角色,通过日志比对找到持有正确数据的节点继续提供服务。
核心优势五:快速迁移传统数仓,助力企业轻松上云
利用GaussDB(DWS)的迁移工具,用户能够非常容易的将数据从线下的Teradata、Oracle等传统数仓快速搬迁上云。
迁移主要分为应用迁移和数据迁移两部分。应用迁移是指由于线下传统数据仓库的语法及功能不同,导致业务脚本、存储过程等需要改造适配,为此,GaussDB(DWS)把深耕市场多年、成功迁移数十套Teradata和Oracle数仓的成功经验,开发为一套完整的语法迁移工具,能够支持对数据类型、SQL语法、DSQL脚本、存储过程等语法的自动化转换,对Teradata的常用语法自动化转换率超过90%,对Oracle超过60%。在数据迁移方面,GaussDB(DWS)提供了灵活的数据入库方式,可以将多种数据源的数据导入到GaussDB(DWS)中。各导入方式具有不同的特点,用户可以根据其特点自行选择。建议用户配合云数据迁移(Cloud Data Migration,简称CDM)和数据治理中心(DataArts Studio)一起使用,CDM用于批量数据迁移,DataArts Studio可以对整个ETL过程进行编排调度,同时提供可视化的开发环境。
以上就是华为云数据仓库服务五大核心优势,GaussDB(DWS) 可广泛应用于金融、互联网、政企、电商、能源、电信等多个领域,具备大规模扩展能力和企业级可靠性。如果在使用过程中遇到具体问题,可以找华为云伙伴云枢国际获取帮助,还有其他不了解的云领域问题,可以问我哦。