seatunnel

SeaTunnel4 天前
java·大数据·服务器·apache·etl·seatunnel
Apache SeaTunnel 提交一个任务都经过了什么?一次 SeaTunnel 任务提交,看起来只是一次 submitJob 请求;但在 Server 内部,它会经过 Master 判断、任务协调、JobMaster 初始化、物理执行计划构建、Pipeline 资源申请、TaskGroup 部署等多个阶段。
ApacheSeaTunnel5 天前
大数据·开源·数据集成·seatunnel·技术分享·数据同步
Apache SeaTunnel 提交一个任务都经过了什么?一次 SeaTunnel 任务提交,看起来只是一次 submitJob 请求;但在 Server 内部,它会经过 Master 判断、任务协调、JobMaster 初始化、物理执行计划构建、Pipeline 资源申请、TaskGroup 部署等多个阶段。
ApacheSeaTunnel13 天前
大数据·开源·数据集成·seatunnel·技术分享·数据同步
Apache SeaTunnel 2.3.12 进阶实战:MySQL to PostgreSQL 5 套生产场景同步 Demo本文将从 PostgreSQL 容器部署、测试数据构建,到 5 类生产常用同步模式全覆盖,手把手讲解 SeaTunnel 数据转换、批量优化、前置 SQL 执行等核心技巧,零基础也能快速上手异构数据同步。
ApacheSeaTunnel20 天前
大数据·ai·开源·大模型·数据集成·cli·seatunnel·技术分享·数据同步
Apache SeaTunnel AI CLI Benchmark:7 款大模型、100 个 ETL 任务实测,谁真正能跑起来?作者 | 张鑫,Apache SeaTunnel Contributor摘要: 大模型正在快速进入数据工程领域,承担理解自然语言需求、生成 ETL 任务配置、校验配置,以及在执行失败后协助定位和修复问题等工作。对团队而言,真正困难的并不是让模型“生成一份配置”,而是避免选到一个只会生成看似正确、却无法在生产环境中稳定运行的模型。
SeaTunnel21 天前
大数据·开发语言·python·程序员·代码·seatunnel
从 Python Script 地狱到标准化数据集成框架几乎所有企业的数据平台都有着相似的成长轨迹。项目初期,数据接入需求并不复杂。业务系统需要将 MySQL 数据同步到数据仓库,运营部门希望定时调用第三方 REST API 获取营销数据,日志系统需要消费 Kafka 中的实时消息,再写入 ClickHouse 或 Elasticsearch。对于这些需求而言,Python 凭借丰富的生态和较低的开发成本,几乎成为所有数据工程师的首选语言。几十行甚至几百行代码,就足以完成一次数据同步任务。
ApacheSeaTunnel1 个月前
大数据·数据库·ai·开源·数据集成·seatunnel·技术分享·数据同步
一套替代四套!同程旅行用 Apache SeaTunnel 搭建多模态统一数据通道同程旅行数据通道服务历经多年演进,形成了数据搬运、数据集成、Sqoop、SeaTunnel 四套并存的格局,功能重叠、引擎割裂、整体运维成本居高不下。
ApacheSeaTunnel1 个月前
大数据·开源·数据集成·seatunnel·技术分享·数据同步·airbyte·fivetran
为什么 Data Ingestion 还没有被 Fivetran/Airbyte 完全解决?在 Reddit 的数据工程社区(r/dataengineering)里,关于数据接入(Data Ingestion)的选型讨论永远充满着火药味。当团队需要在生产环境落地一套现代数据栈(MDS)时,最常见的纠结就是:“选 Fivetran 还是 Airbyte?或者还有什么开源的硬核替代方案?”
ApacheSeaTunnel1 个月前
大数据·开源·数据集成·seatunnel·技术分享·数据同步
当多表数据涌入,Apache SeaTunnel 如何巧妙化解主键冲突?点亮Star!https://github.com/apache/seatunnel来源 | 数仓生态圈
ApacheSeaTunnel2 个月前
大数据·mysql·开源·doris·数据集成·seatunnel·数据同步
实战演示 | 基于 Apache SeaTunnel 与 Apache DolphinScheduler 实现 MySQL 到 Doris 离线定时增量同步在企业数据平台建设过程中,数据同步是一项非常常见的需求。随着业务规模不断增长,全量同步带来的数据库压力和资源消耗也会越来越大。因此,在实际生产环境中,增量同步往往是更常见的选择。
SeaTunnel2 个月前
大数据·数据库·开源·apache·seatunnel
87 个 PR 迭代复盘|Apache SeaTunnel 5 月版本重点更新解读社区小伙伴们,Apache SeaTunnel 5 月份月报姗姗来迟啦!据社区统计,2026 年 5 月 apache/seatunnel 仓库累计合入 87 个 PR。本月核心迭代方向为持续完善 Connector-V2,补齐各类细节,做到生产环境可用;深耕 Zeta 引擎,优化高可用、故障恢复、监控和测试;同时强化 CI 安全与回归测试,保障主干分支迭代效率。
jy022688793 个月前
seatunnel·dolphinschedule
dolphinschedule+seatunnel+spark+hadoop目的是调研用,没部署分布式。后续生产要部署分布式。tar -zxvf jdk-8u451-linux-x64.tar.gz
SeaTunnel3 个月前
大数据·数据库·人工智能·apache·seatunnel·数据同步
AI 让 SeaTunnel 读源码和调试过时了吗?在本周的 Apache SeaTunnel Meetup 上,项目活跃贡献者 梁尧博为我们分享了一场非常精彩的话题——AI 时代下如何更高效地进行 SeaTunnel 本地调试。他通过细致的讲解,从环境准备到调试跑通的整个过程都进行了详细的展示,让已经或者打算上手 SeaTunnel 的观众都对如何进行源码调试、问题定位和自己修 bug 有了更直观和深入的了解。现在,分享内容已经整理成文字版,供大家学习参考。
ApacheSeaTunnel3 个月前
大数据·ai·开源·数据集成·seatunnel·技术分享·数据同步
AI 让 SeaTunnel 读源码和调试过时了吗?在本周的 Apache SeaTunnel Meetup 上,项目活跃贡献者 梁尧博为我们分享了一场非常精彩的话题——AI 时代下如何更高效地进行 SeaTunnel 本地调试。他通过细致的讲解,从环境准备到调试跑通的整个过程都进行了详细的展示,让已经或者打算上手 SeaTunnel 的观众都对如何进行源码调试、问题定位和自己修 bug 有了更直观和深入的了解。现在,分享内容已经整理成文字版,供大家学习参考。
SeaTunnel3 个月前
大数据·数据仓库·spark·apache·seatunnel
Apache SeaTunnel 4 月有何新动作?连接器增强与 Zeta 稳定性提升等亮点速览4 月份月报来啦!社区梳理了 2026 年 4 月份 Apache SeaTunnel 合入 origin/dev 的 31 个带 PR 号代码提交,从功能特性、性能优化、Bug 修复、架构改进展开,对如 Doris Stream Load 增强等关键变更做源码级拆解,并附上当月 PR 贡献者名单,快来看看你在名单上吗?😊
ApacheSeaTunnel4 个月前
大数据·ai·开源·数据集成·seatunnel·数据同步
SeaTunnel + AI:一句“我要做什么”,能不能直接变成一份能跑的配置?围绕 Apache SeaTunnel Discussion #10651 的一些思考:AI 写配置,难的从来不是“写出来”,而是“写出来以后真能用。”
SeaTunnel4 个月前
大数据·数据库·架构·apache·seatunnel
深度解析 Apache SeaTunnel 核心引擎三大技术创新:高可靠异步持久化与 CDC 架构优化实战摘要: 在大规模分布式数据集成场景中,系统的高可用性与数据处理的极致性能始终是核心挑战。本文深入剖析了 Apache SeaTunnel 近期在核心引擎层面的三大技术创新:基于 LMAX Disruptor 的高性能异步 WAL(Write-Ahead Log)持久化架构、CDC 模块中针对 Debezium 反序列化的高效时区转换优化,以及 JDBC 模块中针对 SQL Server 等数据库的复杂类型映射增强。
ApacheSeaTunnel4 个月前
大数据·开源·数据集成·seatunnel·技术分享·数据同步
Apache SeaTunnel Zeta 为什么能做到“又快又稳”?如果只把 SeaTunnel Zeta 理解成一个“更快的执行引擎”,其实会低估它真正的价值。对数据集成系统来说,真正难的从来不是“把链路跑起来”,而是下面几件事能不能同时成立:吞吐足够高、失败后能恢复、数据不重复不丢失、资源开销不过度失控。
SeaTunnel4 个月前
大数据·开源·apache·seatunnel·数据同步
关于 Apache SeaTunnel 类加载器治理的一些观察与思考(欢迎讨论)最近在深入阅读 Apache SeaTunnel Zeta Engine 相关代码时,顺着 ClassLoader 这一条线做了一次相对系统的梳理。
ApacheSeaTunnel4 个月前
大数据·开源·数据集成·seatunnel·技术分享
祝贺 Apache SeaTunnel PMC 新成员张圣航!🎉 Hi Community,又一特大好消息!张圣航同学凭借卓越贡献,成功受邀加入 Apache SeaTunnel PMC 团队,获此殊荣,实至名归!
ApacheSeaTunnel5 个月前
大数据·开源·数据集成·seatunnel·数据同步
从 Apache SeaTunnel 走向 ASF Member:一位开发者的长期主义样本最近,Apache Software Foundation 在会议上经过讨论,一致同意向多位 Apache SeaTunnel 项目的 PMC Member 发出邀请,邀请他们成为象征基金会最高荣誉的 ASF Member。其中,王海林也位列其中。