Apache Hop从入门到精通 第一课 揭开Apache Hop神秘面纱

一、Apache Hop是什么?

1、Apache Hop,简称Hop,全称为Hop Orchestration Platform,即Hop 工作编排平台,是一个数据编排和数据工程平台,旨在促进数据和元数据编排的所有方面。Hop让你专注于你想要解决的问题,而不会被技术所阻碍。简单任务应该容易完成,复杂任务需要可能实现。

2、Hop允许数据专业人员使用元数据来描述数据应该如何被处理,从而进行可视化工作。可视化设计使数据开发者能够专注于他们想要做什么,而不是如何完成这项任务。这种对当前任务的关注使得Hop开发者比编写代码时更加高效。

二、Apache Hop起源与背景

1、Hop 最初(2019年底)是作为 Kettle(Pentaho Data Integration,PDI)的一个分支而启动的。Hop 是一个相对较新的项目,于 2020 年成为 Apache 软件基金会的顶级项目。它由 Kettle 的原始创建者 Tyler Mitchell 领导,旨在解决 PDI 中的一些限制,并提供更现代化的架构。

2、Kettle (PDI): Kettle 最初由 Pentaho 开发,是一个功能齐全的数据集成工具。Pentaho 后来被 Hitachi Vantara 收购,尽管如此,PDI 仍然是一个活跃的开源项目,拥有庞大的用户社区和丰富的插件生态系统。(不熟悉kettle的小伙伴可以查看kettle系列文章)

3、Hop和Kettle/PDI是独立的项目,各自有自己的路线图和优先级。鉴于这些不同的路线图、架构愿景和开发轨迹,Hop和Kettle/PDI是不兼容的。由于Hop与Kettle/PDI有着共同的历史,Hop社区提供了一种方法,尽可能无缝地将现有的PDI/Kettle项目导入Hop。

三、HOP VS KETTLE

1、核心概念

Terminology(术语) Kettle Hop
Parallel scalable data pipeline(并行可扩展数据管道) Transformation Pipeline
An operation in a parallel pipeline(并行管道中的一个操作) Step Transform
Sequential series of actions(一系列顺序的操作) Job Workflow
An action in a workflow(工作流中的一个操作) Job Entry Action
Shared metadata container(共享的元数据容器) Metastore Hop Metadata
The graphical user interface(图形用户界面) Spoon Hop Gui
Script to run data pipelines(运行数据管道的脚本) Pan Hop Run
Script to run workflows(运行工作流的脚本) Kitchen Hop Run
Server for remote execution(远程执行服务器) Carte Hop Server
Script for configuration(配置脚本) - Hop Config

2、配置

Configuration(配置) Kettle Hop
System variables(系统变量) ${KETTLE_HOME}/.kettle/kettle.properties ${HOP_CONFIG_FOLDER}/hop-config.json or ./config/hop-config.json
GUI preferences (fonts, colors, preferences...) 图形用户界面偏好设置(字体、颜色、偏好...) ${KETTLE_HOME}/.kettle/kettle.properties ${HOP_CONFIG_FOLDER}/hop-config.json or ./config/hop-config.json
Language choice(语言选择) ${KETTLE_HOME}/.kettle/.languageChoice ${HOP_CONFIG_FOLDER}/hop-config.json or ./config/hop-config.json
Shared objects(共享对象) ${KETTLE_HOME}/.kettle/shared.xml All stored in Hop shared metadata
GUI usage information(图形用户界面使用信息) ${KETTLE_HOME}/.kettle/kettle.properties ${HOP_AUDIT_FOLDER}/<project>/
Shared metadata(共享元数据) {PENTAHO_METASTORE_FOLDER} or {HOME}/.pentaho/metastore {HOP_METADATA_FOLDER} or {HOP_CONFIG_FOLDER}/metadata
Environment/Project configurations(环境/项目配置) ${KETTLE_HOME}/.kettle/environment/metastore ${HOP_CONFIG_FOLDER}/hop-config.json or ./config/hop-config.json

3、引擎

Engine Kettle Hop
Unit Testing Plugin Yes
Apache Spark Support No (PDI EE only) Yes (Beam)
Apache Flink Support No Yes (Beam)
Google Cloud DataFlow Support No Yes (Beam)

4、特性

Feature(特性) Kettle Hop
Projects and Lifecycle Configuration(项目与生命周期配置) No Yes
Search Information in projects and configurations (在项目和配置中搜索信息) No Yes
Configuration management through UI and command line (通过界面和命令行进行配置管理) No Yes
Standardized shared metadata(标准化共享元数据) No Yes
Pluggable runtime engines(可插拔的运行时引擎) No Yes
Advanced GUI features: memory, native zooom, ...​ 高级 GUI 功能:内存、原生缩放...... No Yes
Metadata Injection(元数据注入) Yes Yes (most transforms)
Mapping (sub-transformation/pipeline(映射(子转换/管道) Yes Yes(simplified)
Web Interface WebSpoon HopWeb
APL 2.0 license compliance(APL 2.0 许可合规性) LGPL doubts regarding pentaho-metastore library Yes
Pluggable metadata objects(可插拔的元数据对象) No Yes
GUI plugin architecture(GUI 插件架构) XUL based (XML) Java annotations
相关推荐
RestCloud2 天前
ETL数据集成平台在交通运输行业的五大应用场景
数据仓库·数据安全·etl·数据集成·集成平台
RestCloud6 天前
谷云科技iPaaS集成平台4月发布新版本V7.4
科技·api·数据安全·etl·数据集成·ipaas·集成平台
SeaTunnel11 天前
【同步教程】基于Apache SeaTunnel从MySQL同步到MySQL——Demo方舟计划
大数据·人工智能·apache·etl
RestCloud11 天前
2025常用的ETL 产品推荐:助力企业激活数据价值
数据仓库·apache·etl·kettle·数据集成·ibm·informatica
RestCloud13 天前
从ETL到ELT:大数据时代下两者的选型建议及优势
大数据·数据仓库·etl·数字化转型·数据集成平台·elt
RestCloud14 天前
典型的ETL使用场景与数据集成平台的应用
数据仓库·etl·数字化转型·数据迁移·数据集成·实时cdc
SeaTunnel16 天前
Apache SeaTunnel MCP Server:让AI成为你的ETL助手
人工智能·apache·etl
zhangjin122218 天前
kettle插件-postgresql插件
大数据·postgresql·etl·kettle cdc·kettle插件·kettle实时数据同步
ETLCloud数据集成社区19 天前
ETLCloud是如何通过Oracle实现CDC的?
数据库·oracle·etl·实时数据同步
zhangjin122221 天前
kettle从入门到精通 第九十四课 ETL之kettle MySQL Bulk Loader大批量高性能数据写入
大数据·数据仓库·mysql·etl·kettle实战·kettlel批量插入·kettle mysql