ETL(提取、转换和加载)和 ELT(提取、加载和转换)是企业用来从多个源提取数据并将其组合到单个数据库或数据仓库中进行分析的过程。这两种方法都使用以下步骤(但顺序不同)来准备数据以进行分析:
-
提取:此步骤涉及从源中提取数据,源可以是 MySQL 或 MongoDB 等数据库,也可以是 Google 表格、Google Drive 或 Salesforce 等任何其他应用程序。
-
加载:在此步骤中,数据将加载到分析工作负载的目标仓库或数据库。
-
转换:此步骤可用于清理、处理数据并将其转换为适合加载到目标和进一步分析的格式。
ETL | ELT | |
---|---|---|
数据转型 | 原始数据在加载到目标之前进行转换。 | 原始数据在加载到目标后进行转换。 |
加载时间 | ETL 需要更多时间将数据加载到目标,因为数据首先被转换。 | ELT 速度更快,因为数据直接加载到目标。 |
数据量 | 更适合需要非常复杂转换的小型数据集。 | 非常适合更强调获取实时数据进行分析的大型数据集。 |
一些新的词汇
in-flight-transformations
提取或加载过程中自动转换源数据
Schema Mapper
结构映射器:
hevodata 的 event 和 event-type
从源中获取数据称为 Hevo 中的事件摄取,而将摄取的数据复制到目标中称为事件的加载。每个 Hevo 计划每月提供固定数量的活动。读取事件用法。
如何管理过程中的事件Managing Objects in Pipelines - Hevo Data
Schema Mapper Actions
- 跳过了一行数据
- 重置了数仓结构
- 发现没有绑定的字段