AWS 专题学习 P10 (Databases、 Data & Analytics)

喵王叭2024-01-26 11:22

文章目录

  • 专题总览
  • [1. Databases](#1. Databases)
    • [1.1 选择合适的数据库](#1.1 选择合适的数据库)
    • [1.2 数据库类型](#1.2 数据库类型)
    • [1.3 AWS 数据库服务概述](#1.3 AWS 数据库服务概述)
      • [Amazon RDS](#Amazon RDS)
      • [Amazon Aurora](#Amazon Aurora)
      • [Amazon ElastiCache](#Amazon ElastiCache)
      • [Amazon DynamoDB](#Amazon DynamoDB)
      • [Amazon S3](#Amazon S3)
      • DocumentDB
      • [Amazon Neptune](#Amazon Neptune)
      • [Amazon Keyspaces (for Apache Cassandra)](#Amazon Keyspaces (for Apache Cassandra))
      • [Amazon QLDB](#Amazon QLDB)
      • [Amazon Timestream](#Amazon Timestream)
  • [2. Data & Analytics](#2. Data & Analytics)
    • [2.1 Amazon Athena](#2.1 Amazon Athena)
      • [Amazon Athena -- 性能优化](#Amazon Athena – 性能优化)
      • [Amazon Athena -- Federated Query (联合查询)](#Amazon Athena – Federated Query (联合查询))
    • [2.2 Redshift 概述](#2.2 Redshift 概述)
      • [Redshift 集群](#Redshift 集群)
      • [Redshift -- 快照&灾难恢复](#Redshift – 快照&灾难恢复)
      • [Loading data into Redshift: Large inserts are MUCH better](#Loading data into Redshift: Large inserts are MUCH better)
      • [Redshift Spectrum](#Redshift Spectrum)
    • [2.3 Amazon OpenSearch Service](#2.3 Amazon OpenSearch Service)
      • [OpenSearch patterns - DynamoDB](#OpenSearch patterns - DynamoDB)
      • [OpenSearch patterns - CloudWatch Logs](#OpenSearch patterns - CloudWatch Logs)
      • [OpenSearch patterns - Kinesis Data Streams & Kinesis Data Firehose](#OpenSearch patterns - Kinesis Data Streams & Kinesis Data Firehose)
    • [2.4 Amazon EMR](#2.4 Amazon EMR)
      • [Amazon EMR - 节点类型和购买方式](#Amazon EMR - 节点类型和购买方式)
    • [2.5 Amazon QuickSight](#2.5 Amazon QuickSight)
      • [QuickSight 集成](#QuickSight 集成)
      • [QuickSight - 仪表板和分析](#QuickSight - 仪表板和分析)
    • [2.6 AWS Glue](#2.6 AWS Glue)
      • [AWS Glue - 将数据转换为 Parquet 格式](#AWS Glue - 将数据转换为 Parquet 格式)
      • [Glue 数据目录：数据集的目录](#Glue 数据目录：数据集的目录)
      • [Glue - 高层次概述](#Glue - 高层次概述)
    • [2.7 AWS Lake Formation](#2.7 AWS Lake Formation)
      • [Centralized Permissions Example](#Centralized Permissions Example)
    • [2.8 Kinesis Data Analytics 用于 SQL 应用程序](#2.8 Kinesis Data Analytics 用于 SQL 应用程序)
      • [Kinesis Data Analytics（SQL 应用程序）](#Kinesis Data Analytics（SQL 应用程序）)
      • [Kinesis Data Analytics 用于 Apache Flink](#Kinesis Data Analytics 用于 Apache Flink)
    • [2.9 Amazon Managed Streaming for Apache Kafka（Amazon MSK）](#2.9 Amazon Managed Streaming for Apache Kafka（Amazon MSK）)

专题总览

包含专题内容总览和系列博客目录
https://blog.csdn.net/weixin_40815218/article/details/135590291

1. Databases

1.1 选择合适的数据库

  • 在AWS上有很多托管的数据库可供选择
  • 根据架构选择合适的数据库的问题：
  • 读重、写重还是平衡工作负载？吞吐量需求？它会改变吗，在一天中需要进行扩展或波动吗？
  • 存储多少数据以及存储多长时间？它会增长吗？平均对象大小？它们如何访问？
  • 数据的持久性？数据的真实来源？
  • 延迟要求？并发用户？
  • 数据模型？如何查询数据？连接？结构化？半结构化？
  • 强类型模式？更灵活？报告？搜索？关系型数据库/NoSQL？
  • 许可证成本？切换到云原生数据库，如Aurora？

1.2 数据库类型

  • 关系型数据库（SQL / OLTP）：RDS，Aurora-适用于连接
  • NoSQL数据库-无连接，无SQL：DynamoDB（~ JSON），ElastiCache（键/值对），Neptune（图形），DocumentDB（用于MongoDB），Keyspaces（用于Apache Cassandra）
  • 对象存储：S3（用于大对象）/ Glacier（用于备份/存档）
  • 数据仓库（SQL分析/ BI）：Redshift（OLAP），Athena，EMR
  • 搜索：OpenSearch（JSON）-全文搜索，非结构化搜索
  • 图形：Amazon Neptune-显示数据之间的关系
  • 分类帐：Amazon Quantum Ledger数据库
  • 时间序列：Amazon Timestream
  • 注意：某些数据库在数据和分析部分讨论

1.3 AWS 数据库服务概述

Amazon RDS

  • 托管的 PostgreSQL / MySQL / Oracle / SQL Server / MariaDB /自定义
  • 预置的 RDS 实例大小和EBS卷类型和大小
  • 存储的自动扩展功能
  • 支持读副本和多个可用区
  • 通过 IAM，安全组，KMS，SSL 在传输中提供安全性
  • 带有特定时间恢复功能（最多35天）的自动备份
  • 长期恢复的手动数据库快照
  • 托管和计划维护（有停机时间）
  • 支持 IAM 身份验证，与 Secrets Manager 集成
  • RDS Custom 用于访问和自定义基础实例（Oracle和SQL Server）
  • 用例：存储关系数据集（RDBMS / OLTP），执行 SQL 查询，事务

Amazon Aurora

  • 兼容 PostgreSQL / MySQL 的 API，存储和计算分离
  • 存储：数据存储在6个副本中，跨3个可用区-高可用性，自愈，自动扩展
  • 计算：多个可用区的 DB 实例群集，读取副本的自动扩展
  • 群集：编写器和读取器 DB 实例的自定义端点
  • 与 RDS 相同的安全性/监控/维护功能
  • 了解 Aurora 的备份和恢复选项
  • Aurora Serverless-用于不可预测/间歇工作负载，无需容量规划
  • Aurora Multi-Master-用于连续写入故障转移（高写入可用性）
  • Aurora Global：每个区域最多16个DB读取实例，＜1秒存储复制
  • Aurora Machine Learning：在 Aurora 上使用 SageMaker 和 Comprehend 执行 ML
  • Aurora 数据库克隆：从现有数据库创建新集群，比恢复快照更快
  • 用例：与 RDS 相同，但维护更少/更灵活/性能更好/功能更多

Amazon ElastiCache

  • 托管的 Redis / Memcached（与 RDS 类似，但用于缓存）
  • 内存数据存储，亚毫秒延迟
  • 必须预置 EC2 实例类型
  • 支持集群（Redis）和多 AZ、读副本（分片）
  • 通过 IAM、安全组、KMS、Redis Auth 实现安全性
  • 备份/快照/按时间点还原功能
  • 托管和计划维护
  • 需要对应用程序代码进行一些更改以发挥作用
  • 用例：键值存储，频繁读取，较少写入，缓存数据库查询结果，存储网站的会话数据，不能使用 SQL。

Amazon DynamoDB

  • AWS 的专有技术，托管的无服务器 NoSQL 数据库，毫秒级延迟
  • 容量模式：预置容量可选择自动扩展或按需容量
  • 可以替代 ElastiCache 作为键/值存储（例如存储会话数据，使用 TTL 功能）
  • 高可用性，默认多 AZ，读写解耦，支持事务
  • 用于读取缓存的 DAX 集群，微秒级读取延迟
  • 安全性通过 IAM 进行身份验证和授权
  • 事件处理：DynamoDB Streams 与 AWS Lambda 或 Kinesis 数据流集成
  • 全局表功能：主动-主动设置
  • 自动备份最长可保留 35 天，可进行 PITR（还原到新表）或按需备份
  • 在 PITR 窗口内使用 S3 导出时无需使用 RCU，在 PITR 窗口内从 S3 导入时无需使用 WCU
  • 非常适合快速演变的模式
  • 用例：无服务器应用程序开发（小型文档 100 KB），分布式无服务器缓存，不具备 SQL 查询语言

Amazon S3

  • S3 是一个...对象的键/值存储
  • 适用于较大的对象，对于许多小对象效果不佳
  • 无服务器，无限扩展，最大对象大小为 5 TB，支持版本控制
  • 层级：S3 标准，S3 低频访问，S3 智能层，S3 Glacier + 生命周期策略
  • 功能：版本控制，加密，复制，MFA-Delete，访问日志...
  • 安全性：IAM，存储桶策略，ACL，访问点，对象/保险库锁定，CORS，对象/保险库锁定
  • 加密：SSE-S3，SSE-KMS，SSE-C，客户端端加密，传输中的 TLS，默认加密
  • 使用 S3 Batch 进行对象批量操作，使用 S3 Inventory 列出文件
  • 性能：分块上传，S3 传输加速，S3 Select
  • 自动化：S3 事件通知（SNS，SQS，Lambda，EventBridge）
  • 用例：静态文件，大文件的键值存储，网站托管

DocumentDB

  • Aurora 是 PostgreSQL / MySQL 的 "AWS 实现"...
  • DocumentDB 是 MongoDB 的同类产品（一种 NoSQL 数据库）
  • MongoDB 用于存储、查询和索引 JSON 数据
  • 与 Aurora 类似的 "部署概念"
  • 完全托管，高可用性，跨 3 个 AZ 复制
  • DocumentDB 存储自动以 10GB 为增量增长，最高可达 64TB
  • 可以自动扩展以处理每秒数百万个请求的工作负载

Amazon Neptune

  • 完全托管的图数据库
  • 一个受欢迎的图数据集可以是一个社交网络
  • 用户有朋友
  • 帖子有评论
  • 评论有用户的点赞
  • 用户分享和点赞帖子...
  • 在 3 个 AZ 上高可用，并可拥有多达 15 个读副本
  • 构建和运行处理高度连接数据集的应用程序-针对这些复杂且难以查询的优化
  • 可以存储数十亿个关系并以毫秒级延迟查询图形
  • 非常适合知识图谱（维基百科）、欺诈检测、推荐引擎、社交网络

Amazon Keyspaces (for Apache Cassandra)

  • Apache Cassandra 是一个开源的分布式 NoSQL 数据库
  • 一个托管的兼容 Apache Cassandra 的数据库服务
  • 无服务器、可扩展、高可用、由 AWS 完全托管
  • 根据应用程序的流量自动扩展表格的容量
  • 表格在多个可用区内复制 3 次
  • 使用 Cassandra 查询语言 (CQL)
  • 无论规模如何，都可以实现单位数字毫秒级延迟，每秒处理数千个请求
  • 容量：按需模式或预置模式与自动缩放
  • 加密、备份、35 天的 PITR（时间点恢复）
  • 用例：存储物联网设备信息、时间序列数据...

Amazon QLDB

  • QLDB 代表 "Quantum Ledger Database"（量子账本数据库）

  • 账本是记录财务交易的账簿

  • 完全托管、无服务器、高可用、在 3 个可用区中进行复制

  • 用于查看应用程序数据随时间所有更改的历史记录

  • 不可变系统：不能删除或修改任何条目，具有密码学验证

  • 性能比常见的账本区块链框架提高 2-3 倍，使用 SQL 操作数据

  • 与 Amazon Managed Blockchain 的区别：没有去中心化组件，符合金融监管规定

Amazon Timestream

  • 完全托管、快速、可扩展、无服务器的时间序列数据库
  • 自动调整容量进行扩缩
  • 存储和分析每天的数万亿个事件
  • 比关系型数据库快数千倍，成本只有其十分之一
  • 定时查询、多度量记录、SQL 兼容
  • 数据存储分层：近期数据存储在内存中，历史数据存储在成本优化的存储中
  • 内置时间序列分析函数（帮助您在几乎实时中识别数据模式）
  • 在传输和静止状态下进行加密
  • 用例：物联网应用程序、运营应用程序、实时分析...

Amazon Timestream -- Architecture

2. Data & Analytics

2.1 Amazon Athena

  • 无服务器查询服务，用于分析存储在 Amazon S3 中的数据
  • 使用标准SQL语言查询文件（基于 Presto 构建）
  • 支持 CSV、JSON、ORC、Avro 和 Parquet 格式
  • 定价：每TB数据扫描费用为$5.00
  • 常与 Amazon Quicksight 一起用于报表/仪表盘
  • 用例：商业智能/分析/报表，分析和查询 VPC 流日志、ELB 日志、CloudTrail 跟踪等...
  • 考试提示：使用无服务器 SQL 分析 S3 中的数据，使用 Athena

Amazon Athena -- 性能优化

  • 使用列式数据以节省成本（减少扫描量）
  • 推荐使用Apache Parquet或ORC
  • 获得巨大的性能改进
  • 使用Glue将数据转换为Parquet或ORC格式
  • 压缩数据以便进行更小的检索（bzip2、gzip、lz4、snappy、zlip、zstd...）
  • 在S3中对数据集进行分区，以便在虚拟列上进行轻松查询
  • 示例：s3://athena-examples/flight/parquet/year=1991/month=1/day=1/
  • 使用较大的文件（> 128 MB）以最小化开销

Amazon Athena -- Federated Query (联合查询)

  • 允许您在关系型、非关系型、对象和自定义数据源（AWS或本地）中运行SQL查询
  • 使用在 AWS Lambda 上运行的数据源连接器来运行联合查询（例如CloudWatch Logs、DynamoDB、RDS...）
  • 将结果存储回Amazon S3

2.2 Redshift 概述

  • Redshift 基于 PostgreSQL，但不用于 OLTP
  • 它是 OLAP-在线分析处理（分析和数据仓库）
  • 性能比其他数据仓库提高10倍，可以扩展到PB级的数据
  • 数据以列式存储（而不是基于行）和并行查询引擎
  • 根据所预配的实例按量付费
  • 具有用于执行查询的 SQL 接口
  • BI 工具如 Amazon Quicksight 或 Tableau 与之集成
  • 与 Athena 相比：由于索引，查询/连接/聚合更快

Redshift 集群

  • Leader 节点：用于查询规划和结果聚合
  • 计算节点：用于执行查询，将结果发送给 Leader
  • 需要提前预配节点大小
  • 可以使用预留实例以节省成本

Redshift -- 快照&灾难恢复

  • Redshift 对某些集群具有"多-AZ"模式
  • 快照是集群的时间点备份，存储在 S3 内部
  • 快照是增量的（只保存改变的部分）
  • 可以将快照还原到新的集群中
  • 自动：每8小时、每5GB或按计划。设置保留期为1到35天
  • 手动：快照保留直到删除
  • 可以配置 Amazon Redshift 自动复制集群的快照（自动或手动）到另一个 AWS 区域

Loading data into Redshift: Large inserts are MUCH better

**copy customer

from 's3://mybucket/mydata'

iam_role 'arn:aws:iam::0123456789012:role/MyRedshiftRole'; **

Redshift Spectrum

  • 在不加载数据的情况下查询已经存在于S3中的数据
  • 必须有可用的 Redshift 集群来启动查询
  • 然后将查询提交给数千个 Redshift Spectrum 节点

2.3 Amazon OpenSearch Service

  • Amazon OpenSearch 是 Amazon ElasticSearch 的后继者
  • 在 DynamoDB 中，只能通过主键或索引进行查询...
  • 使用 OpenSearch，您可以搜索任何字段，甚至是部分匹配
  • 常常将 OpenSearch 用作其他数据库的补充
  • OpenSearch 需要一组实例（而不是无服务器）
  • 不支持 SQL（它有自己的查询语言）
  • 从 Kinesis Data Firehose、AWS IoT 和 CloudWatch Logs 进行摄取
  • 通过 Cognito 和 IAM、KMS 加密、TLS 实现安全性
  • 配备 OpenSearch Dashboards（可视化）

OpenSearch patterns - DynamoDB

OpenSearch patterns - CloudWatch Logs

OpenSearch patterns - Kinesis Data Streams & Kinesis Data Firehose

2.4 Amazon EMR

  • EMR 代表 "Elastic MapReduce"
  • EMR 用于创建 Hadoop 集群（大数据），以分析和处理大量数据
  • 集群可以由数百个 EC2 实例组成
  • EMR 与 Apache Spark、HBase、Presto、Flink 等捆绑在一起
  • EMR 负责所有供应和配置
  • 支持自动扩展，并与 Spot 实例集成
  • 用例：数据处理，机器学习，Web 索引，大数据...

Amazon EMR - 节点类型和购买方式

  • 主节点：管理集群，协调，管理健康-长期运行
  • 核心节点：运行任务和存储数据-长期运行
  • 任务节点（可选）：只是运行任务-通常是Spot实例
  • 购买选项：
  • 按需：可靠，可预测，不会被终止
  • 预留实例（最低1年）：成本节约（如果可用，EMR将自动使用）
  • Spot实例：更便宜，可以终止，可靠性较低
  • 可以有长期运行的集群或短暂（临时）集群

2.5 Amazon QuickSight

  • 无服务器的机器学习驱动的业务智能服务，用于创建交互式仪表板
  • 快速、自动可扩展、可嵌入、按会话定价
  • 用例：
    • 商业分析
    • 构建可视化
    • 执行即席分析
    • 利用数据获得业务洞察
  • 与RDS、Aurora、Athena、Redshift、S3等集成
  • 如果数据导入到QuickSight中，使用SPICE引擎进行内存计算
  • 企业版：可以设置列级安全性（CLS）

QuickSight 集成

QuickSight - 仪表板和分析

  • 定义用户（标准版本）和组（企业版）
  • 这些用户和组仅存在于QuickSight中，而不在IAM中！
  • 仪表板...
  • 是一个只读的分析快照，可以共享
  • 保留分析的配置（过滤、参数、控件、排序）
  • 您可以与用户或组分享分析或仪表板
  • 要共享仪表板，必须首先发布它
  • 看到仪表板的用户也可以看到底层数据

2.6 AWS Glue

  • 托管的抽取、转换和加载（ETL）服务
  • 用于准备和转换数据以供分析使用
  • 完全无服务器的服务

AWS Glue - 将数据转换为 Parquet 格式

Glue 数据目录：数据集的目录

Glue - 高层次概述

  • Glue 作业书签：防止重新处理旧数据
  • Glue 弹性视图：
    • 使用 SQL 在多个数据存储中组合和复制数据
    • 无需自定义代码，Glue 监视源数据的更改，无服务器
    • 利用"虚拟表"（物化视图）
  • Glue DataBrew：使用预构建的转换清理和规范化数据
  • Glue Studio：用于在 Glue 中创建、运行和监视 ETL 作业的新 GUI
  • Glue 流式 ETL（基于 Apache Spark 结构化流）：
    • 兼容 Kinesis Data Streaming、Kafka、MSK（托管 Kafka）

2.7 AWS Lake Formation

  • 数据湖 = 用于分析目的的数据的中心位置
  • 完全托管的服务，可在几天内轻松设置数据湖
  • 发现、清洗、转换和摄取数据到数据湖中
  • 自动化许多复杂的手动步骤（收集、清洗、移动、编目数据等），并进行去重（使用 ML 转换）
  • 在数据湖中结合结构化和非结构化数据
  • 开箱即用的源蓝图：S3、RDS、关系型和 NoSQL 数据库等
  • 细粒度的应用程序访问控制（行级和列级）
  • 建立在 AWS 全局之上

Centralized Permissions Example

2.8 Kinesis Data Analytics 用于 SQL 应用程序

Kinesis Data Analytics（SQL 应用程序）

  • 使用 SQL 在 Kinesis Data Streams 和 Firehose 上进行实时分析
  • 添加 Amazon S3 的参考数据以丰富流式数据
  • 完全托管，无需预配服务器
  • 自动扩展
  • 按实际消耗率付费
  • 输出：
    • Kinesis Data Streams：根据实时分析查询创建流
    • Kinesis Data Firehose：将分析查询结果发送到目标位置
  • 用例：
    • 时间序列分析
    • 实时仪表板
    • 实时指标
  • 使用 Flink（Java、Scala 或 SQL）处理和分析流式数据
  • 在 AWS 上的托管集群上运行任何 Apache Flink 应用程序
  • 提供计算资源，支持并行计算，自动扩展
  • 应用程序备份（实现为检查点和快照）
  • 使用任何 Apache Flink 编程功能
  • Flink 不从 Firehose 读取数据（请改用 Kinesis Analytics for SQL）

2.9 Amazon Managed Streaming for Apache Kafka（Amazon MSK）

  • Amazon Managed Streaming for Apache Kafka（Amazon MSK）是 Amazon Kinesis 的替代品。
  • 它是在AWS上完全托管的Apache Kafka服务。
  • 允许您创建、更新和删除集群。
  • MSK 为您创建和管理 Kafka broker 节点和 Zookeeper 节点。
  • 在您的 VPC 中部署 MSK 集群，支持多可用区（高可用性最多3个）。
  • 自动从常见的 Apache Kafka 故障中恢复。
  • 数据存储在 EBS 卷上，持续时间由您决定。
  • MSK 支持无服务器模式，无需管理容量。
  • MSK 自动预配资源并扩展计算和存储。

Apache Kafka 概述

Kinesis Data Streams v.s. Amazon MSK

Kinesis Data Streams

  • 1 MB的消息大小限制。
  • 使用 Shards 进行数据流管理。
  • 支持 Shard 的分裂和合并。
  • 传输过程中使用 TLS 进行加密。
  • 数据静态加密使用 KMS。

Amazon MSK

  • 默认为1MB，可配置为更高（例如：10MB）。
  • Kafka 主题使用分区进行管理。
  • 只能向主题添加分区。
  • 传输过程中支持明文或 TLS 加密。
  • 数据静态加密使用 KMS。

Amazon MSK 消费者

大数据摄取流程

  • 我们希望摄取流程是完全无服务器的。
  • 我们希望实时收集数据。
  • 我们希望对数据进行转换。
  • 我们希望使用 SQL 查询转换后的数据。
  • 使用查询创建的报表应该存储在 S3 中。
  • 我们希望将数据加载到数据仓库中并创建仪表板。

大数据摄取流程讨论

  • IoT Core 允许您从物联网设备中获取数据。
  • Kinesis 非常适合实时数据收集。
  • Firehose 可以帮助将数据以近实时（1分钟）的方式交付给 S3。
  • Lambda 可以帮助 Firehose 进行数据转换。
  • Amazon S3 可以触发 SQS 的通知。
  • Lambda 可以订阅 SQS（我们可以将 S3 连接到 Lambda）。
  • Athena 是一种无服务器的 SQL 服务，查询结果存储在 S3 中。
  • 报表存储桶包含经过分析的数据，可以被报表工具（如 AWS QuickSight、Redshift 等）使用。
相关推荐
小闫BI设源码2 小时前
uniapp使用腾讯云获取位置转为省市区
uni-app·云计算·腾讯云
炽天使3 小时前
aws配置飞书告警通知
云计算·监控·aws·webhook·告警通知
dessler5 小时前
云计算&虚拟化-kvm-虚拟机迁移(冷迁移&故障迁移)
linux·运维·云计算
空空dream7 小时前
AWS EC2设置用户名密码登录
云计算·aws
Yanbin_Q11 小时前
调用 AWS Lambda 时如何传送字节数组
云计算·aws
炽天使11 小时前
aws rds-mysql不支持性能详情监控
linux·数据库·mysql·云计算·aws·rds
dessler1 天前
云计算&虚拟化-kvm-克隆(clone)虚拟机
linux·运维·云计算
孪生质数-1 天前
国际环境和背景下的云计算领域
网络·科技·云计算
Linux运维老纪1 天前
linux系统运维面试题（二）（Linux System Operations Interview Questions II）
linux·服务器·面试·云计算·运维开发·devops
热门推荐
01软件工程从理论到实践客观题汇总(头歌第一章至第八章)02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04【软考经验分享】软考-中级-嵌入式备考05玄机平台应急响应—webshell查杀06PyTorch机器学习实现液态神经网络07基于微信小程序的自习室预约系统的设计与实现08Docker 夺命连环 15 问09RAG 实践- Ollama+RagFlow 部署本地知识库10恺英网络宣布：与华为鸿蒙系统展开合作，将开发多款手游