seatunnel

ApacheSeaTunnel13 天前
大数据·mysql·开源·doris·数据集成·seatunnel·数据同步
实战演示 | 基于 Apache SeaTunnel 与 Apache DolphinScheduler 实现 MySQL 到 Doris 离线定时增量同步在企业数据平台建设过程中,数据同步是一项非常常见的需求。随着业务规模不断增长,全量同步带来的数据库压力和资源消耗也会越来越大。因此,在实际生产环境中,增量同步往往是更常见的选择。
SeaTunnel19 天前
大数据·数据库·开源·apache·seatunnel
87 个 PR 迭代复盘|Apache SeaTunnel 5 月版本重点更新解读社区小伙伴们,Apache SeaTunnel 5 月份月报姗姗来迟啦!据社区统计,2026 年 5 月 apache/seatunnel 仓库累计合入 87 个 PR。本月核心迭代方向为持续完善 Connector-V2,补齐各类细节,做到生产环境可用;深耕 Zeta 引擎,优化高可用、故障恢复、监控和测试;同时强化 CI 安全与回归测试,保障主干分支迭代效率。
jy022688791 个月前
seatunnel·dolphinschedule
dolphinschedule+seatunnel+spark+hadoop目的是调研用,没部署分布式。后续生产要部署分布式。tar -zxvf jdk-8u451-linux-x64.tar.gz
SeaTunnel1 个月前
大数据·数据库·人工智能·apache·seatunnel·数据同步
AI 让 SeaTunnel 读源码和调试过时了吗?在本周的 Apache SeaTunnel Meetup 上,项目活跃贡献者 梁尧博为我们分享了一场非常精彩的话题——AI 时代下如何更高效地进行 SeaTunnel 本地调试。他通过细致的讲解,从环境准备到调试跑通的整个过程都进行了详细的展示,让已经或者打算上手 SeaTunnel 的观众都对如何进行源码调试、问题定位和自己修 bug 有了更直观和深入的了解。现在,分享内容已经整理成文字版,供大家学习参考。
ApacheSeaTunnel1 个月前
大数据·ai·开源·数据集成·seatunnel·技术分享·数据同步
AI 让 SeaTunnel 读源码和调试过时了吗?在本周的 Apache SeaTunnel Meetup 上,项目活跃贡献者 梁尧博为我们分享了一场非常精彩的话题——AI 时代下如何更高效地进行 SeaTunnel 本地调试。他通过细致的讲解,从环境准备到调试跑通的整个过程都进行了详细的展示,让已经或者打算上手 SeaTunnel 的观众都对如何进行源码调试、问题定位和自己修 bug 有了更直观和深入的了解。现在,分享内容已经整理成文字版,供大家学习参考。
SeaTunnel2 个月前
大数据·数据仓库·spark·apache·seatunnel
Apache SeaTunnel 4 月有何新动作?连接器增强与 Zeta 稳定性提升等亮点速览4 月份月报来啦!社区梳理了 2026 年 4 月份 Apache SeaTunnel 合入 origin/dev 的 31 个带 PR 号代码提交,从功能特性、性能优化、Bug 修复、架构改进展开,对如 Doris Stream Load 增强等关键变更做源码级拆解,并附上当月 PR 贡献者名单,快来看看你在名单上吗?😊
ApacheSeaTunnel2 个月前
大数据·ai·开源·数据集成·seatunnel·数据同步
SeaTunnel + AI:一句“我要做什么”,能不能直接变成一份能跑的配置?围绕 Apache SeaTunnel Discussion #10651 的一些思考:AI 写配置,难的从来不是“写出来”,而是“写出来以后真能用。”
SeaTunnel2 个月前
大数据·数据库·架构·apache·seatunnel
深度解析 Apache SeaTunnel 核心引擎三大技术创新:高可靠异步持久化与 CDC 架构优化实战摘要: 在大规模分布式数据集成场景中,系统的高可用性与数据处理的极致性能始终是核心挑战。本文深入剖析了 Apache SeaTunnel 近期在核心引擎层面的三大技术创新:基于 LMAX Disruptor 的高性能异步 WAL(Write-Ahead Log)持久化架构、CDC 模块中针对 Debezium 反序列化的高效时区转换优化,以及 JDBC 模块中针对 SQL Server 等数据库的复杂类型映射增强。
ApacheSeaTunnel2 个月前
大数据·开源·数据集成·seatunnel·技术分享·数据同步
Apache SeaTunnel Zeta 为什么能做到“又快又稳”?如果只把 SeaTunnel Zeta 理解成一个“更快的执行引擎”,其实会低估它真正的价值。对数据集成系统来说,真正难的从来不是“把链路跑起来”,而是下面几件事能不能同时成立:吞吐足够高、失败后能恢复、数据不重复不丢失、资源开销不过度失控。
SeaTunnel3 个月前
大数据·开源·apache·seatunnel·数据同步
关于 Apache SeaTunnel 类加载器治理的一些观察与思考(欢迎讨论)最近在深入阅读 Apache SeaTunnel Zeta Engine 相关代码时,顺着 ClassLoader 这一条线做了一次相对系统的梳理。
ApacheSeaTunnel3 个月前
大数据·开源·数据集成·seatunnel·技术分享
祝贺 Apache SeaTunnel PMC 新成员张圣航!🎉 Hi Community,又一特大好消息!张圣航同学凭借卓越贡献,成功受邀加入 Apache SeaTunnel PMC 团队,获此殊荣,实至名归!
ApacheSeaTunnel3 个月前
大数据·开源·数据集成·seatunnel·数据同步
从 Apache SeaTunnel 走向 ASF Member:一位开发者的长期主义样本最近,Apache Software Foundation 在会议上经过讨论,一致同意向多位 Apache SeaTunnel 项目的 PMC Member 发出邀请,邀请他们成为象征基金会最高荣誉的 ASF Member。其中,王海林也位列其中。
ApacheSeaTunnel3 个月前
大数据·数据集成·seatunnel·数据同步·发版
Apache SeaTunnel 2.3.13 重磅发布!最值得关注的 Top 10 功能更新Apache SeaTunnel 社区正式发布 2.3.13 版本!本次发版对于 Apache SeaTunnel 来说是一个里程碑式的进展,带来了诸如 Checkpoint API、Flink 引擎升级、大文件并行处理、多表同步能力、AI Embedding Transform、更加丰富的连接器扩展 等多项重要能力。无论是批量数据处理还是实时 CDC,同步到 Lakehouse,SeaTunnel 都能更高效、更稳定、更智能地支持你的数据集成工作。
SeaTunnel4 个月前
数据仓库·人工智能·apache·etl·seatunnel·数据同步
Apache SeaTunnel 2.3.13 版本前瞻:核心引擎变化和 AI ETL 趋势值得关注Apache SeaTunnel 2.3.13 即将发布。作为一个承上启下的重要版本,它在大幅增强核心引擎稳定性的同时,进一步补全了 CDC 场景的能力拼图,并向 AI ETL 领域迈出了关键一步。
SeaTunnel5 个月前
大数据·数据库·apache·debezium·datax·seatunnel
六大主流数据同步工具全面对比:DataX、Airbyte、Canal、Debezium、Fivetran 与 Apache SeaTunnel当数据量变大、数据源复杂、实时需求提高,很多团队在选数据同步工具时犯难。本文对 DataX、Airbyte、Canal、Debezium、Fivetran 与 Apache SeaTunnel 六款工具做了全面对比,并解析 Apache SeaTunnel 在性能、可靠性和分布式能力上的优势,帮你快速做出决策。
软件派5 个月前
apache·seatunnel
Apache SeaTunnel从入门到精通:企业级数据集成全流程解析1.1 核心架构 SeaTunnel采用"三段式"数据处理引擎:Source-Transform-Sink,支持Zeta自研引擎、Flink、Spark多引擎协同。核心特性包括:
ApacheSeaTunnel5 个月前
大数据·flink·spark·开源·数据集成·seatunnel·数据同步
Apache SeaTunnel Zeta、Flink、Spark 怎么选?底层原理 + 实战对比一次讲透本文档将深入解析 Apache SeaTunnel 支持的三大执行引擎:Zeta (SeaTunnel Engine)、Flink 和 Spark。我们将从架构设计、核心特性、优缺点对比以及使用方法等多个维度进行详细讲解,帮助你根据业务需求选择最合适的引擎。
ApacheSeaTunnel5 个月前
大数据·数据集成·seatunnel·技术分享·数据同步
保姆级 SeaTunnel 入门!再学不会小编当场表演倒立敲代码欢迎来到 Apache SeaTunnel 的世界!这份文档旨在帮助新手快速了解 SeaTunnel 的核心功能、基本架构,并完成第一个数据同步任务。
SeaTunnel5 个月前
大数据·数据库·mysql·开源·apache·seatunnel
Apache SeaTunnel MySQL CDC 支持按时间启动吗?在 MySQL CDC 任务中,很多用户都会遇到这样的问题:任务失败后该从哪里恢复?只知道一个时间点,却拿不到对应的 binlog 位点怎么办?Apache SeaTunnel 2.3.12 通过引入按时间启动(Timestamp Startup)功能,给出了更直观的答案。
ApacheSeaTunnel5 个月前
大数据·ai·seatunnel·技术分享·数据同步·gravitino
告别手敲 Schema!SeaTunnel 集成 Gravitino 元数据 RestApi 这个新动作有点酷每次在 Apache SeaTunnel 里配置非关系型数据库,看着那几百行还要手动定义的字段映射,是不是挺崩溃的?配置错一个字段,任务就报错,这种“体力活”真的该结束了。