华为云数据仓库服务核心优势指南

云原生在确保企业数字化转型中资源快速供给、按需使用的同时,支持敏捷的应用开发、稳定的交付运维,加速企业的敏捷创新,是企业数字化转型、智能化升级的必经之路。数据仓库服务GaussDB(DWS)是基于融合数据仓库GaussDB产品的云原生服务,今天跟大家谈谈华为云数据仓库服务五大核心优势。

首先,说明一下数据仓库服务的基本概念:数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态,为各行业PB级海量大数据分析提供有优势的解决方案。DWS提供存算一体、存算分离多种产品形态,围绕企业级内核、实时分析、协同计算、融合分析、云原生五大方向构筑业界第一数据仓库。

与传统数据仓库相比,华为云数据仓库服务五大核心优势如下:

核心优势一:支持跨源数据融合分析、冷热数据分级存储

融合分析能力是云原生数据仓库GaussDB(DWS)核心亮点之一。GaussDB(DWS)采用一套SQL引擎,支持Oracle、Mysql、HDFS等多源数据融合分析,并通过算子下推、加速集群等技术对分析性能进行了大幅优化,在数据免搬迁的前提下,实现了跨源数据免搬迁、高效分析。

GaussDB(DWS)云原生数据仓库支持冷热数据多温存储,热数据存储于数仓内部,以获得良好的查询分析性能,冷数据可分级存储到更低成本的OBS中,不仅降低存储成本,并且在OBS内,通过合法鉴权,数据能够共享开放,供其他引擎处理分析,GaussDB(DWS)当前已经支持根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据进行"冷热"分级管理;这不仅可以提高数据分析性能还能降低业务成本。

核心优势二:聚合量算力,软硬垂直优化,效率最优

GaussDB(DWS)主要通过多层级全并行架构来实现。

并行的第一个层级,是集群内物理节点间的并行,CN将计划动态分布到多个服务器,通过分布式执行框架,将查询计划在集群内多台物理节点并行执行;

第二个层级,是算子级并行,在每个服务器内,查询算子能够利用一个节点内多个CPU核心进行并行计算;

第三个层级,是在一个CPU核心的指令序列中支持SIMD指令,结合向量化引擎,能实现一个指令同时操作多条数据。

核心优势三:云分布式、按需扩展,大而有序

Shared-Nothing开放架构,可随时根据业务情况增加节点,扩展系统的数据存储能力和查询分析性能。在Shared-Nothing全分布式架构下,实现了容量线性扩展,在数据加载、数据分析性能上同样实现了线性扩展,从小集群逐步扩展到大集群规模过程中,随着节点数增加,线性扩展比可以高达0.8。而且扩容不中断业务,扩容过程中支持数据增、删、改、查,及DDL操作(Drop/Truncate/Alter table),表级别扩容技术,扩容期间业务不中断、无感知。

核心优势四:高可用设计,数据无忧、永远在线

产品所有内部组件CN、DN、GTM、CM等采用多活或主备设计,通过集群管理进行故障检测和切换。其次,在硬件层面,除了最基本的宕机、断网的直接故障外,GaussDB(DWS)还针对夯死、慢节点、亚健康等僵而不死的复杂场景,做了大量的建模和针对性优化,能够实现故障的准确探测和自愈。在数据可靠性方面,GaussDB(DWS)独创的"主-备-从"技术,引入"主"、"备"、"从"三种角色。集群正常时数据仅在主备间进行同步,发生单点故障时数据向"从"同步,从而保证任何状况下都有两副本的数据冗余。在网络分区等异常场景下,一旦主备产生数据分叉,从备又可以承担仲裁者的角色,通过日志比对找到持有正确数据的节点继续提供服务。

核心优势五:快速迁移传统数仓,助力企业轻松上云

利用GaussDB(DWS)的迁移工具,用户能够非常容易的将数据从线下的Teradata、Oracle等传统数仓快速搬迁上云。

迁移主要分为应用迁移和数据迁移两部分。应用迁移是指由于线下传统数据仓库的语法及功能不同,导致业务脚本、存储过程等需要改造适配,为此,GaussDB(DWS)把深耕市场多年、成功迁移数十套Teradata和Oracle数仓的成功经验,开发为一套完整的语法迁移工具,能够支持对数据类型、SQL语法、DSQL脚本、存储过程等语法的自动化转换,对Teradata的常用语法自动化转换率超过90%,对Oracle超过60%。在数据迁移方面,GaussDB(DWS)提供了灵活的数据入库方式,可以将多种数据源的数据导入到GaussDB(DWS)中。各导入方式具有不同的特点,用户可以根据其特点自行选择。建议用户配合云数据迁移(Cloud Data Migration,简称CDM)和数据治理中心(DataArts Studio)一起使用,CDM用于批量数据迁移,DataArts Studio可以对整个ETL过程进行编排调度,同时提供可视化的开发环境。

以上就是华为云数据仓库服务五大核心优势,GaussDB(DWS) 可广泛应用于金融、互联网、政企、电商、能源、电信等多个领域,具备大规模扩展能力和企业级可靠性。如果在使用过程中遇到具体问题,可以找华为云伙伴云枢国际获取帮助,还有其他不了解的云领域问题,可以问我哦。

相关推荐
典学长编程4 小时前
JavaWeb从入门到精通!第二天!(Servlet)
数据仓库·servlet·javaweb
池以遇4 小时前
云原生高级——nginx
运维·nginx·云原生
Serverless社区5 小时前
Function AI 助力用户自主开发 MCP 服务,一键上云高效部署
阿里云·云原生·serverless
睡觉z6 小时前
云原生环境Prometheus企业级监控
云原生·prometheus
归梧谣7 小时前
云原生环境 Prometheus 企业级监控实战
云原生·prometheus
小白不想白a10 小时前
【K8s】K8s控制器——复制集和deployment
云原生·容器·kubernetes
hhzz10 小时前
一键设置 NTP & 时区的脚本(亲测,适用于部署 K8S 的前置环境)
云原生·容器·kubernetes
Akamai中国19 小时前
SharePlay确保最佳游戏体验
人工智能·云原生·云计算
婷儿z21 小时前
云原生环境 Prometheus 企业级监控实战
云原生·prometheus