AWS Redshift的使用场景及一些常见问题

Redshift 不是关系型数据库, 提供了Amazon Redshift Serverless 和 Amazon Redshift 都是构建于 Redshift 数仓引擎之上的,但它们适用的场景不同。Redshift和Dynamodb都可以存储数据, 分别怎么选择? 这里记录一些常见的问题和场景。

1. 如何选择用Amazon Redshift Serverless 和 Amazon Redshift?

Amazon Redshift Serverless:无需管理集群,按需计费,弹性自动扩展。适合不确定负载或数据团队初期, 按照查询时使用的 RPU(Redshift Processing Unit)计费,适合不可预测的工作负载。

Amazon Redshift(传统集群):适合稳定、长期的大数据仓库,拥有持续负载、对成本控制更精细的团队, 按节点计费,可使用预留实例降低成本,适合固定工作负载, 按节点计费,可使用预留实例降低成本,适合固定工作负载。

| 维度 | Redshift Serverless | Redshift(集群) |
| 部署管理 | 无需管理节点,AWS 自动处理资源 | 需要用户自己部署节点和集群 |
| 计费模式 | 按查询消耗的"RPU"资源计费(弹性) | 按节点数+小时计费(固定) |
| 适合场景 | 负载波动大,查询不频繁;无需 DBA | 工作负载稳定,查询频繁,性价比高 |
| 启动速度 | 快速(即开即用) | 有启动延迟,需要冷启动时间 |
| 弹性扩展 | 自动,无需配置 | 手动扩容或设置自动扩缩容 |

成本控制 适合短时轻量查询,不用时不收费 对长期高密度负载更划算

2. redshift设置了id为PRIMARY KEY,入库仍然有重复id,唯一键不生效,有没有其他方式可以设置数据行不重复**.**

本身没有唯一主键约束(性能决定), 推荐: ​编辑MERGE - Amazon Redshift

(1)写入时判断然后merge

(2)缓存到中间表, 再merge到目标表(因为received有一个有个SQL的语句叫merge,如果它发现有重复记录,它就会做update,如果它发现是新的记录没有重复的,它就直接append也就是insert),和关系型数据库不一样, 因为关系数据库,它本质上背后它是有个主键索引,而redshift没有索引,它偏向于分析型场景.

3. 表数据大查询慢,怎么优化, 支持索引吗?

没有索引,更合适是sortkey这个功能, 推荐: VACUUM - Amazon Redshift

查看搜索键排序: select * from svv_table_info order by size desc;

数据量小,性能要求高可以走集群 → 费用会增长

4. 多个进程同时往一个表里批量写数据,会导致数据丢失,或者表被锁之类的问题吗?

没有行锁,只有表锁, 还是推荐缓存表再merge更快

5. redshift 可以创建关联表吗?可以创建视图吗?如何创建?

视图和物化视图(预计算,可配置自动,手动,增量/全量等)都可以 ​编辑自动实体化视图 - Amazon Redshift

6. Serverless 的 Total used storage是怎么计算的, 比实际的数据大很多(实际数据2G的时候,显示58G, 实际数据大概20G,显示154.7 GB)

Serverless 默认128个分片,每个分片有个最小容量,无法调整分片数量, 所以会自动伸展到合适的空间. 集群方式, 是可以根据业务量自定义分片数量的.

7. redshift和dynamodb性能和收费上都有什么区别?

(1) redshift - 数据分析

(2) dynamodb - 业务存储(点查性能更好),更擅长更偏一个业务系统,本身是个KV,所以他更擅长做一些按照key来查询他的这个value的场景

8. redshift推荐的其他用法和优化点

(1) 数据量增大,实时要求高(1-5分钟) - 流式传输

(2) 多集群架构,多计算,单存储 ,一个写入,一个读取 - ​编辑Amazon Redshift 中的数据共享 - Amazon Redshift

  • AWS 账户和 AWS 区域之间共享数据。

9. 如何方便监控redshift的读写情况和数据增长情况之类

监控RPU等等

10. 页面配置注意点

可以设一个limit限制,可以设置最大容量,比如说64或者是32,那么它到了那个限制,它就不会往上扩了, 要是不设置, 那你的配置就是下限, limit可以根据数据量大小无上限扩展.

11. 支持数据共享

可以配置数据共享,某张表可以到表级别分享给你其他region的某一个redshift work group,他就可以直接看到直接看到, 且看到就是实时的表,跟你访问的数据是一模一样的,这个是可以配置的,甚至跨账号也是可以的.

参考链接:

MERGE - Amazon Redshift

VACUUM - Amazon Redshift

Amazon Redshift 中的实体化视图 - Amazon Redshift

自动查询重写以使用实体化视图 - Amazon Redshift

Amazon Redshift 中的数据共享 - Amazon Redshift

相关推荐
Zhang2857324 小时前
跨境业务选AWS区域避坑指南:美东、美西、新加坡、东京怎么选?
云计算·aws
DolitD1 天前
UE像素流与云渲染技术方案对比分析
3d·云原生·ue5·云计算·图形渲染
天府云创1 天前
面向 Personal Agent 增强长期记忆与个性化能力,阿里云升级Memory 服务
阿里云·云计算·memory·agent智能体·长期记忆·personal agent
yunlaodacom1 天前
AWS亚马逊云代理商:WAF登录接口请求洪泛,限速阈值怎么设置?
云计算·aws
长不大的杨瑞杰1 天前
OpenCode v2 配置工程实战:Config 优先级、JSONC、变量替换与多环境治理
人工智能·安全·云计算·软件工程·devops
longzhizhui9261 天前
Ubuntu 全版本 CVE-2026-98432 内核安全升级操作手册
ubuntu·网络安全·云计算·bash
yunlaodacom1 天前
做异地灾备,华为云国际站 OBS 跨地域复制该怎么配置?
安全·华为云·云计算
Elastic 中国社区官方博客1 天前
AgentHack Shanghai|基于阿里云AI搜索 Elasticsearch x Qoder 构建AI Agent应用
大数据·人工智能·elasticsearch·搜索引擎·阿里云·云计算·全文检索
知已难寻2 天前
03 · OpenStack的计算管理 Nova
运维·服务器·开发语言·云原生·云计算·openstack·开源软件
会议咨询2 天前
2027年云计算、机电一体化与电子通信国际会议(CMEC 2027)
云计算·机电一体化·电子通信