华为云数据仓库服务核心优势指南

云原生在确保企业数字化转型中资源快速供给、按需使用的同时,支持敏捷的应用开发、稳定的交付运维,加速企业的敏捷创新,是企业数字化转型、智能化升级的必经之路。数据仓库服务GaussDB(DWS)是基于融合数据仓库GaussDB产品的云原生服务,今天跟大家谈谈华为云数据仓库服务五大核心优势。

首先,说明一下数据仓库服务的基本概念:数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态,为各行业PB级海量大数据分析提供有优势的解决方案。DWS提供存算一体、存算分离多种产品形态,围绕企业级内核、实时分析、协同计算、融合分析、云原生五大方向构筑业界第一数据仓库。

与传统数据仓库相比,华为云数据仓库服务五大核心优势如下:

核心优势一:支持跨源数据融合分析、冷热数据分级存储

融合分析能力是云原生数据仓库GaussDB(DWS)核心亮点之一。GaussDB(DWS)采用一套SQL引擎,支持Oracle、Mysql、HDFS等多源数据融合分析,并通过算子下推、加速集群等技术对分析性能进行了大幅优化,在数据免搬迁的前提下,实现了跨源数据免搬迁、高效分析。

GaussDB(DWS)云原生数据仓库支持冷热数据多温存储,热数据存储于数仓内部,以获得良好的查询分析性能,冷数据可分级存储到更低成本的OBS中,不仅降低存储成本,并且在OBS内,通过合法鉴权,数据能够共享开放,供其他引擎处理分析,GaussDB(DWS)当前已经支持根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据进行"冷热"分级管理;这不仅可以提高数据分析性能还能降低业务成本。

核心优势二:聚合量算力,软硬垂直优化,效率最优

GaussDB(DWS)主要通过多层级全并行架构来实现。

并行的第一个层级,是集群内物理节点间的并行,CN将计划动态分布到多个服务器,通过分布式执行框架,将查询计划在集群内多台物理节点并行执行;

第二个层级,是算子级并行,在每个服务器内,查询算子能够利用一个节点内多个CPU核心进行并行计算;

第三个层级,是在一个CPU核心的指令序列中支持SIMD指令,结合向量化引擎,能实现一个指令同时操作多条数据。

核心优势三:云分布式、按需扩展,大而有序

Shared-Nothing开放架构,可随时根据业务情况增加节点,扩展系统的数据存储能力和查询分析性能。在Shared-Nothing全分布式架构下,实现了容量线性扩展,在数据加载、数据分析性能上同样实现了线性扩展,从小集群逐步扩展到大集群规模过程中,随着节点数增加,线性扩展比可以高达0.8。而且扩容不中断业务,扩容过程中支持数据增、删、改、查,及DDL操作(Drop/Truncate/Alter table),表级别扩容技术,扩容期间业务不中断、无感知。

核心优势四:高可用设计,数据无忧、永远在线

产品所有内部组件CN、DN、GTM、CM等采用多活或主备设计,通过集群管理进行故障检测和切换。其次,在硬件层面,除了最基本的宕机、断网的直接故障外,GaussDB(DWS)还针对夯死、慢节点、亚健康等僵而不死的复杂场景,做了大量的建模和针对性优化,能够实现故障的准确探测和自愈。在数据可靠性方面,GaussDB(DWS)独创的"主-备-从"技术,引入"主"、"备"、"从"三种角色。集群正常时数据仅在主备间进行同步,发生单点故障时数据向"从"同步,从而保证任何状况下都有两副本的数据冗余。在网络分区等异常场景下,一旦主备产生数据分叉,从备又可以承担仲裁者的角色,通过日志比对找到持有正确数据的节点继续提供服务。

核心优势五:快速迁移传统数仓,助力企业轻松上云

利用GaussDB(DWS)的迁移工具,用户能够非常容易的将数据从线下的Teradata、Oracle等传统数仓快速搬迁上云。

迁移主要分为应用迁移和数据迁移两部分。应用迁移是指由于线下传统数据仓库的语法及功能不同,导致业务脚本、存储过程等需要改造适配,为此,GaussDB(DWS)把深耕市场多年、成功迁移数十套Teradata和Oracle数仓的成功经验,开发为一套完整的语法迁移工具,能够支持对数据类型、SQL语法、DSQL脚本、存储过程等语法的自动化转换,对Teradata的常用语法自动化转换率超过90%,对Oracle超过60%。在数据迁移方面,GaussDB(DWS)提供了灵活的数据入库方式,可以将多种数据源的数据导入到GaussDB(DWS)中。各导入方式具有不同的特点,用户可以根据其特点自行选择。建议用户配合云数据迁移(Cloud Data Migration,简称CDM)和数据治理中心(DataArts Studio)一起使用,CDM用于批量数据迁移,DataArts Studio可以对整个ETL过程进行编排调度,同时提供可视化的开发环境。

以上就是华为云数据仓库服务五大核心优势,GaussDB(DWS) 可广泛应用于金融、互联网、政企、电商、能源、电信等多个领域,具备大规模扩展能力和企业级可靠性。如果在使用过程中遇到具体问题,可以找华为云伙伴云枢国际获取帮助,还有其他不了解的云领域问题,可以问我哦。

相关推荐
努力的小雨6 小时前
我一个写Java的,怎么就开始玩K8s和Jenkins了?!
后端·云原生
喂完待续8 小时前
【序列晋升】25 Spring Cloud Open Service Broker 如何为云原生「服务市集」架桥铺路?
spring·spring cloud·微服务·云原生·系统架构·big data·序列晋升
资源开发与学习10 小时前
七米老师Go语言微服务与云原生
云原生
DS小龙哥13 小时前
基于STM32与华为云联动的智能电动车充电桩管理系统
stm32·嵌入式硬件·华为云
云道轩13 小时前
阿里云和华为云Rocky LINUX 9.X镜像就绪及低端可用英伟达GPU
阿里云·华为云·云计算·gpu·rocky linux
白鲸开源14 小时前
K8s集群+Rancher Server:部署DolphinScheduler 3.2.2集群
大数据·云原生·kubernetes
HiEV16 小时前
WEWA、VLA、世界模型,辅助驾驶进入GPT时代
华为云·自动驾驶·汽车
Blessed_Li16 小时前
Higress云原生API网关详解 与 Linux版本安装指南
linux·运维·云原生·higress
一个帅气昵称啊1 天前
NetCoreKevin-DDD-微服务-WebApi-AI智能体、AISK集成、MCP协议服务、SignalR、Quartz 框架-16-部署与基础设施
微服务·云原生·架构·系统架构·.netcore