seatunnel

SeaTunnel3 小时前
大数据·数据库·人工智能·apache·seatunnel·数据同步
AI 让 SeaTunnel 读源码和调试过时了吗?在本周的 Apache SeaTunnel Meetup 上,项目活跃贡献者 梁尧博为我们分享了一场非常精彩的话题——AI 时代下如何更高效地进行 SeaTunnel 本地调试。他通过细致的讲解,从环境准备到调试跑通的整个过程都进行了详细的展示,让已经或者打算上手 SeaTunnel 的观众都对如何进行源码调试、问题定位和自己修 bug 有了更直观和深入的了解。现在,分享内容已经整理成文字版,供大家学习参考。
ApacheSeaTunnel5 天前
大数据·ai·开源·数据集成·seatunnel·技术分享·数据同步
AI 让 SeaTunnel 读源码和调试过时了吗?在本周的 Apache SeaTunnel Meetup 上,项目活跃贡献者 梁尧博为我们分享了一场非常精彩的话题——AI 时代下如何更高效地进行 SeaTunnel 本地调试。他通过细致的讲解,从环境准备到调试跑通的整个过程都进行了详细的展示,让已经或者打算上手 SeaTunnel 的观众都对如何进行源码调试、问题定位和自己修 bug 有了更直观和深入的了解。现在,分享内容已经整理成文字版,供大家学习参考。
SeaTunnel9 天前
大数据·数据仓库·spark·apache·seatunnel
Apache SeaTunnel 4 月有何新动作?连接器增强与 Zeta 稳定性提升等亮点速览4 月份月报来啦!社区梳理了 2026 年 4 月份 Apache SeaTunnel 合入 origin/dev 的 31 个带 PR 号代码提交,从功能特性、性能优化、Bug 修复、架构改进展开,对如 Doris Stream Load 增强等关键变更做源码级拆解,并附上当月 PR 贡献者名单,快来看看你在名单上吗?😊
ApacheSeaTunnel1 个月前
大数据·ai·开源·数据集成·seatunnel·数据同步
SeaTunnel + AI:一句“我要做什么”,能不能直接变成一份能跑的配置?围绕 Apache SeaTunnel Discussion #10651 的一些思考:AI 写配置,难的从来不是“写出来”,而是“写出来以后真能用。”
SeaTunnel1 个月前
大数据·数据库·架构·apache·seatunnel
深度解析 Apache SeaTunnel 核心引擎三大技术创新:高可靠异步持久化与 CDC 架构优化实战摘要: 在大规模分布式数据集成场景中,系统的高可用性与数据处理的极致性能始终是核心挑战。本文深入剖析了 Apache SeaTunnel 近期在核心引擎层面的三大技术创新:基于 LMAX Disruptor 的高性能异步 WAL(Write-Ahead Log)持久化架构、CDC 模块中针对 Debezium 反序列化的高效时区转换优化,以及 JDBC 模块中针对 SQL Server 等数据库的复杂类型映射增强。
ApacheSeaTunnel1 个月前
大数据·开源·数据集成·seatunnel·技术分享·数据同步
Apache SeaTunnel Zeta 为什么能做到“又快又稳”?如果只把 SeaTunnel Zeta 理解成一个“更快的执行引擎”,其实会低估它真正的价值。对数据集成系统来说,真正难的从来不是“把链路跑起来”,而是下面几件事能不能同时成立:吞吐足够高、失败后能恢复、数据不重复不丢失、资源开销不过度失控。
SeaTunnel2 个月前
大数据·开源·apache·seatunnel·数据同步
关于 Apache SeaTunnel 类加载器治理的一些观察与思考(欢迎讨论)最近在深入阅读 Apache SeaTunnel Zeta Engine 相关代码时,顺着 ClassLoader 这一条线做了一次相对系统的梳理。
ApacheSeaTunnel2 个月前
大数据·开源·数据集成·seatunnel·技术分享
祝贺 Apache SeaTunnel PMC 新成员张圣航!🎉 Hi Community,又一特大好消息!张圣航同学凭借卓越贡献,成功受邀加入 Apache SeaTunnel PMC 团队,获此殊荣,实至名归!
ApacheSeaTunnel2 个月前
大数据·开源·数据集成·seatunnel·数据同步
从 Apache SeaTunnel 走向 ASF Member:一位开发者的长期主义样本最近,Apache Software Foundation 在会议上经过讨论,一致同意向多位 Apache SeaTunnel 项目的 PMC Member 发出邀请,邀请他们成为象征基金会最高荣誉的 ASF Member。其中,王海林也位列其中。
ApacheSeaTunnel2 个月前
大数据·数据集成·seatunnel·数据同步·发版
Apache SeaTunnel 2.3.13 重磅发布!最值得关注的 Top 10 功能更新Apache SeaTunnel 社区正式发布 2.3.13 版本!本次发版对于 Apache SeaTunnel 来说是一个里程碑式的进展,带来了诸如 Checkpoint API、Flink 引擎升级、大文件并行处理、多表同步能力、AI Embedding Transform、更加丰富的连接器扩展 等多项重要能力。无论是批量数据处理还是实时 CDC,同步到 Lakehouse,SeaTunnel 都能更高效、更稳定、更智能地支持你的数据集成工作。
SeaTunnel2 个月前
数据仓库·人工智能·apache·etl·seatunnel·数据同步
Apache SeaTunnel 2.3.13 版本前瞻:核心引擎变化和 AI ETL 趋势值得关注Apache SeaTunnel 2.3.13 即将发布。作为一个承上启下的重要版本,它在大幅增强核心引擎稳定性的同时,进一步补全了 CDC 场景的能力拼图,并向 AI ETL 领域迈出了关键一步。
SeaTunnel3 个月前
大数据·数据库·apache·debezium·datax·seatunnel
六大主流数据同步工具全面对比:DataX、Airbyte、Canal、Debezium、Fivetran 与 Apache SeaTunnel当数据量变大、数据源复杂、实时需求提高,很多团队在选数据同步工具时犯难。本文对 DataX、Airbyte、Canal、Debezium、Fivetran 与 Apache SeaTunnel 六款工具做了全面对比,并解析 Apache SeaTunnel 在性能、可靠性和分布式能力上的优势,帮你快速做出决策。
软件派3 个月前
apache·seatunnel
Apache SeaTunnel从入门到精通:企业级数据集成全流程解析1.1 核心架构 SeaTunnel采用"三段式"数据处理引擎:Source-Transform-Sink,支持Zeta自研引擎、Flink、Spark多引擎协同。核心特性包括:
ApacheSeaTunnel4 个月前
大数据·flink·spark·开源·数据集成·seatunnel·数据同步
Apache SeaTunnel Zeta、Flink、Spark 怎么选?底层原理 + 实战对比一次讲透本文档将深入解析 Apache SeaTunnel 支持的三大执行引擎:Zeta (SeaTunnel Engine)、Flink 和 Spark。我们将从架构设计、核心特性、优缺点对比以及使用方法等多个维度进行详细讲解,帮助你根据业务需求选择最合适的引擎。
ApacheSeaTunnel4 个月前
大数据·数据集成·seatunnel·技术分享·数据同步
保姆级 SeaTunnel 入门!再学不会小编当场表演倒立敲代码欢迎来到 Apache SeaTunnel 的世界!这份文档旨在帮助新手快速了解 SeaTunnel 的核心功能、基本架构,并完成第一个数据同步任务。
SeaTunnel4 个月前
大数据·数据库·mysql·开源·apache·seatunnel
Apache SeaTunnel MySQL CDC 支持按时间启动吗?在 MySQL CDC 任务中,很多用户都会遇到这样的问题:任务失败后该从哪里恢复?只知道一个时间点,却拿不到对应的 binlog 位点怎么办?Apache SeaTunnel 2.3.12 通过引入按时间启动(Timestamp Startup)功能,给出了更直观的答案。
ApacheSeaTunnel4 个月前
大数据·ai·seatunnel·技术分享·数据同步·gravitino
告别手敲 Schema!SeaTunnel 集成 Gravitino 元数据 RestApi 这个新动作有点酷每次在 Apache SeaTunnel 里配置非关系型数据库,看着那几百行还要手动定义的字段映射,是不是挺崩溃的?配置错一个字段,任务就报错,这种“体力活”真的该结束了。
SeaTunnel4 个月前
大数据·开源·apache·seatunnel·案例
Apache SeaTunnel 2025 案例精选重磅发布!过去这一年,Apache SeaTunnel 就像个数据小能手,成功“打入”众多企业的生产环境,为那些复杂的数据同步和集成难题,量身定制超棒的解决方案。社区小伙伴们超用心,把这些应用实践精心整理,编成了这本案例集。
码农丁丁6 个月前
apache·seatunnel
apache seatunnel 2.3.12 Changelog
SeaTunnel6 个月前
大数据·开源·apache·开发者·seatunnel·转换插件
Apache SeaTunnel 如何将 CDC 数据流转换为 Append-Only 模式?RowKindExtractor 是 Apache SeaTunnel 的一个转换插件,它能将 CDC 数据流转为 Append-Only 模式,并提取原始 RowKind 信息为新字段。本文将介绍 RowKindExtractor 的核心功能,其在 CDC 数据同步场景下的使用方法,以及配置选项、注意事项及多种应用示例。