AWS Glue 与 EMR

欢迎来到雲闪世界。AWS Glue 是一款按使用量付费的无服务器 ETL 工具,几乎不需要设置任何基础设施。它可自动完成编写、执行和监控 ETL 作业所涉及的大部分工作。如果您的数据是结构化的,您可以利用爬虫来推断架构、识别文件格式并在Glue 的数据目录中填充元数据。根据您指定的 ETL 标准,Glue 可以自动为您生成 Python 或 Scala 代码,并提供一个用于作业监控和调度的漂亮 UI。

相比之下,EMR 是一个大数据平台,旨在降低处理和分析大量数据的成本。它是一种托管服务,您可以在其中配置自己的 EC2 实例集群。您可以完全控制配置并可以安装Hadoop 生态系统组件,这使 EMR 成为一项非常灵活和复杂的服务。它的用例非常广泛。数据科学家可以使用 EMR 利用TensorFlow Hadoop 生态系统组件,这使 EMR 成为一项非常灵活和复杂的服务。它的用例非常广泛。数据科学家可以使用 EMR 利用TensorFlow库运行机器学习作业,分析师可以在Presto上运行 SQL 查询,工程师可以利用 EMR 与KinesisSpark等流式应用程序的集成......还有更多!

您可以用 EMR 替换 Glue,但反之则不行,EMR 的功能远远多于无服务器版本。

添加图片注释,不超过 140 字(可选)

在选择这些工具时要考虑的另一件事是成本。比较类似的集群配置时,Glue 比 EMR 更昂贵,可能是因为您要为无服务器特权和易于设置付费。

Drop 的数据湖解决方案发现从 Glue 迁移到 EMR 后,冷启动时间缩短,成本降低 80%。

目前只有3 种 Glue 工作器类型可供配置,最多提供 32GB 的执行器内存。如果您在业务逻辑中编写复杂的连接,此限制可能会成为问题。如果连接未针对性能进行优化,则执行器内存可能会很快被消耗,作业可能会失败。如果您必须解压非常大的 zip/gzip 文件,也会发生同样的情况,所有数据都将保存在一个节点上(这就是 Spark 的工作原理!)。

与此相反,EMR 有大量受支持的实例类型可供选择!(尽管您仍然希望优化连接以提高性能😃并且最好避免使用 zip 和 gzip 格式!)

使用 AWS Glue 的一个优点是它会自动将日志发送到CloudWatch,如果您的架构使用多个 AWS 服务,这将非常方便 - 为您提供一个集中监控和警报位置。另一方面,EMR 默认将日志发送到 S3 - 虽然您可以通过 EMR 的引导配置安装 CloudWatch 代理。另一方面,EMR 默认将日志发送到 S3 --- 尽管您可以通过 EMR 的引导配置安装 CloudWatch 代理。

总之,如果您的员工不熟悉 AWS 配置,并且您只想执行简单的 ETL,那么 Glue 可能是一个明智的选择。但是,如果您希望利用 Hadoop 技术并执行更复杂的转换,那么 EMR 是更可行的解决方案。

感谢关注雲闪世界。(Aws解决方案架构师vs开发人员&GCP解决方案架构师vs开发人员)

相关推荐
Johny_Zhao8 小时前
Docker + CentOS 部署 Zookeeper 集群 + Kubernetes Operator 自动化运维方案
linux·网络安全·docker·信息安全·zookeeper·kubernetes·云计算·系统运维
鸭鸭鸭进京赶烤9 小时前
大学专业科普 | 云计算、大数据
大数据·云计算
SH11HF13 小时前
小菜狗的云计算之旅,学习了解rsync+sersync实现数据实时同步(详细操作步骤)
学习·云计算
搞笑的秀儿16 小时前
信息新技术
大数据·人工智能·物联网·云计算·区块链
SelectDB16 小时前
SelectDB 在 AWS Graviton ARM 架构下相比 x86 实现 36% 性价比提升
大数据·架构·aws
泊浮目1 天前
未来数据库硬件-网络篇
数据库·架构·云计算
运维开发王义杰1 天前
金融安全生命线:用AWS EventBridge和CloudTrail构建主动式入侵检测系统
安全·金融·aws
UI设计和前端开发从业者2 天前
UI前端大数据处理策略优化:基于云计算的数据存储与计算
前端·ui·云计算
我是小bā吖2 天前
阿里云服务网格ASM实践
网络·阿里云·云计算·服务发现
长征coder2 天前
AWS MySQL 读写分离配置指南
mysql·云计算·aws