数据仓库-集群管理

主要介绍操作类问题中的集群管理问题。

无法成功创建数据仓库集群时怎么处理?

请检查用户账户余额是否少于100元,是否已经没有配额创建新的数据仓库集群,以及是否存在网络问题。

如账户余额、配额、网络均未发现问题,请联系客户经理,请客户经理联系后台服务人员为您排查原因并解决问题。

如何清理与回收存储空间?

DWS 数据仓库中保存的数据在删除后,可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费、创建及恢复快照性能下降等问题,如何清理?

清理与回收存储空间对系统的影响如下:

  • 删除无用的脏数据,释放存储空间。
  • 数据库将进行大量读写操作,可能影响正常使用,建议选择空闲时间执行。
  • 数据库的存储空间越大,即数据可能越多,清理的时间越长。

清理与回收存储空间操作步骤如下:

1.连接数据库。具体操作步骤请参见《数据仓库服务用户指南》中"连接集群"章节。

2.执行以下命令,清理与回收存储空间。

VACUUM FULL;

默认清理当前用户在数据库中,拥有权限的每一个表。没有权限的表则直接跳过回收操作。

当系统显示以下内容时,表示清理完成:

VACUUM

  • VACUUM FULL回收所有过期的行空间,但是它需要对每个正在处理的表进行独占锁定,并且可能需要很长时间才能完成大型分布式数据库表。一般建议对指定表执行VACUUM FULL,若需要对整个数据库执行VACUUM FULL,建议在数据库维护期间操作。
  • 使用FULL参数会导致统计信息丢失,如果需要收集统计信息,请在语句命令中加上analyze关键字。例如,执行 VACUUM FULL ANALYZE; 命令。VACUUM的语法请参见《数据仓库服务数据库开发指南》中的相关章节。

为什么扩容后已使用存储容量比扩容前减少了很多?

原因分析

扩容前,如果您没有执行vacuum清理和回收存储空间,DWS 数据仓库中之前被删除的数据,可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费。

而在扩容时,系统会做一次重分布,集群扩容时新节点添加完成后,原节点存储的业务数据明显多于新节点,此时系统自动在所有节点重新分布保存数据。在开始做重分布时,系统会自动执行一次vacuum,从而释放了存储空间,因此,扩容后已使用存储容量减少了很多。

处理方法

建议您定期做vacuum full清理与回收存储空间,防止数据膨胀。

如果执行vacuum后,已使用存储容量仍然占用过高,请分析现有集群规格是否满足业务需求,若不满足,建议您对集群进行扩容。

如何查看DWS各节点的指标?例如CPU使用率、内存使用率、磁盘利用率、磁盘使用量等?

集群已使用容量指标,可通过云监控管理控制台查看。查看方法:

1.登录DWS管理控制台,单击集群列表中某个集群右侧的"查看监控指标"进入云监控管理控制台。

2.单击

返回云服务监控界面,默认显示"数据仓库节点",再单击对应节点右侧的"查看监控指标",可查看某个节点的"磁盘使用量"。

DWS的磁盘空间/容量是如何统计的?

1.DWS的磁盘总容量统计:以3个数据节点为例,假设每个节点320G,总容量为960G。当存入一个1G的数据,DWS因为副本机制会将这1G的数据在两个节点中都各存一份,共占2G的空间,如果再加上元数据、索引等,实际1G的数据,存入DWS后占用的空间不止2G。所以总容量为960G的3节点集群,总量能存480G的数据。因为存储硬盘本身不贵,客户数据才珍贵。

客户在云的DWS控制台上搭建的时候,页面已经是按照一个节点的真正容量空间来统计的。比如dws.m3.xlarge,在搭建页面是160G,但实际这个节点的磁盘是有320G的,已经将这个320G显示为160G了,便于客户按实际落盘数据进行搭建。

2.单个节点磁盘的使用情况的确认:

同样的,以总容量为960G,3个数据节点为例,那么每个节点的磁盘容量就是320G。

登录DWS控制台,选择"监控>节点监控>概览"显示每个节点的磁盘以及其他资源占用情况。

说明

l 节点管理看到的磁盘空间是DWS集群内所有的磁盘即系统盘、数据盘加到一起的容量,而在概览里看到的磁盘空间只是集群内能做表数据存储的可用空间,另外DWS集群中表是有备份的副本数的,表的备份数据也是需要占用磁盘存储的。

l 如果已确定由于磁盘空间不足导致集群状态只读,告警磁盘不可用的异常场景时,可参考"扩容集群"章节进行节点扩容处理。

增加CN和扩容集群分别在什么场景下使用?

CN并发介绍

CN全称协调节点(Coordinator Node)。是和用户关系最密切也是DWS内部非常重要的一个组件,它负责提供外部应用接口、优化全局执行计划、向Datanode分发执行计划,以及汇总、处理执行结果。CN是外部应用的接口,CN的并发能力直接决定了业务的并发度。

单CN的并发能力受如下几个参数控制:

  • max_connections : 允许和数据库连接的最大并发连接数。此参数会影响集群的并发能力。默认值与集群规格有关,具体参见 "管理数据库连接"章节。
  • max_active_statements :设置全局的最大并发数量。此参数只应用到CN,且针对一个CN上的执行作业。默认值60,最多允许60个作业同时运行,其余作业将会排队。

选择增加CN还是扩容集群

  • 连接数不足:初次创建集群时,集群默认的CN节点数是3,能基本满足客户的连接需求。当集群属于高并发请求,各CN节点的连接数很大,或CN节点的CPU明显高于DN节点的CPU时,建议增加CN节点数量,具体参见"管理CN节点"章节。
  • 存储容量和性能不足:随着您的业务规模扩张,对数据存储容量和性能有更高的要求时,或者集群整体CPU不足时,建议通过扩容集群进行集群节点的扩容。详情请参见 "扩容集群"章节。

随着业务规模扩大,集群扩容到一定节点规模后,也必然需要增加相应的CN节点,满足DWS的分布式要求。简言之,增加CN,不一定需要扩容集群,但是扩容集群后,会伴随着增加CN节点的需求。

相关推荐
键道码屋3 分钟前
【Hive 如何进行update更新?】
数据仓库·hive·hadoop
liuwufei42 分钟前
数据仓库-基于角色的权限管理(RBAC)
数据库·数据仓库·oracle
风子~9 小时前
hive—炸裂函数explode/posexplode
数据仓库·hive·hadoop
liuwufei15 小时前
数据仓库-用户管理实践
数据库·数据仓库·oracle
PersistJiao19 小时前
调度系统:分析 Apache Airflow 和 Prefect 在 基于Couchbase构建数据仓库 和 ETL任务调度 的场景下,哪一个更合适
数据仓库·apache·etl
焚琴煮鹤的熊熊野火2 天前
数据仓库实验一 建立警务数据仓库完成ETL
数据仓库·etl
PersistJiao2 天前
基于 Couchbase 的数仓建模方案
数据仓库·数据建模·数仓建模·couchbase
叫我DPT2 天前
Hive——HQL数据查询语言
数据仓库·hive·hadoop
Yz98762 天前
Hive的Serde
大数据·数据仓库·hive·hadoop·数据库架构·bigdata