seatunnel

ApacheSeaTunnel9 小时前
大数据·数据集成·seatunnel·数据同步·发版
Apache SeaTunnel 2.3.13 重磅发布!最值得关注的 Top 10 功能更新Apache SeaTunnel 社区正式发布 2.3.13 版本!本次发版对于 Apache SeaTunnel 来说是一个里程碑式的进展,带来了诸如 Checkpoint API、Flink 引擎升级、大文件并行处理、多表同步能力、AI Embedding Transform、更加丰富的连接器扩展 等多项重要能力。无论是批量数据处理还是实时 CDC,同步到 Lakehouse,SeaTunnel 都能更高效、更稳定、更智能地支持你的数据集成工作。
SeaTunnel7 天前
数据仓库·人工智能·apache·etl·seatunnel·数据同步
Apache SeaTunnel 2.3.13 版本前瞻:核心引擎变化和 AI ETL 趋势值得关注Apache SeaTunnel 2.3.13 即将发布。作为一个承上启下的重要版本,它在大幅增强核心引擎稳定性的同时,进一步补全了 CDC 场景的能力拼图,并向 AI ETL 领域迈出了关键一步。
SeaTunnel1 个月前
大数据·数据库·apache·debezium·datax·seatunnel
六大主流数据同步工具全面对比:DataX、Airbyte、Canal、Debezium、Fivetran 与 Apache SeaTunnel当数据量变大、数据源复杂、实时需求提高,很多团队在选数据同步工具时犯难。本文对 DataX、Airbyte、Canal、Debezium、Fivetran 与 Apache SeaTunnel 六款工具做了全面对比,并解析 Apache SeaTunnel 在性能、可靠性和分布式能力上的优势,帮你快速做出决策。
软件派1 个月前
apache·seatunnel
Apache SeaTunnel从入门到精通:企业级数据集成全流程解析1.1 核心架构 SeaTunnel采用"三段式"数据处理引擎:Source-Transform-Sink,支持Zeta自研引擎、Flink、Spark多引擎协同。核心特性包括:
ApacheSeaTunnel2 个月前
大数据·flink·spark·开源·数据集成·seatunnel·数据同步
Apache SeaTunnel Zeta、Flink、Spark 怎么选?底层原理 + 实战对比一次讲透本文档将深入解析 Apache SeaTunnel 支持的三大执行引擎:Zeta (SeaTunnel Engine)、Flink 和 Spark。我们将从架构设计、核心特性、优缺点对比以及使用方法等多个维度进行详细讲解,帮助你根据业务需求选择最合适的引擎。
ApacheSeaTunnel2 个月前
大数据·数据集成·seatunnel·技术分享·数据同步
保姆级 SeaTunnel 入门!再学不会小编当场表演倒立敲代码欢迎来到 Apache SeaTunnel 的世界!这份文档旨在帮助新手快速了解 SeaTunnel 的核心功能、基本架构,并完成第一个数据同步任务。
SeaTunnel2 个月前
大数据·数据库·mysql·开源·apache·seatunnel
Apache SeaTunnel MySQL CDC 支持按时间启动吗?在 MySQL CDC 任务中,很多用户都会遇到这样的问题:任务失败后该从哪里恢复?只知道一个时间点,却拿不到对应的 binlog 位点怎么办?Apache SeaTunnel 2.3.12 通过引入按时间启动(Timestamp Startup)功能,给出了更直观的答案。
ApacheSeaTunnel2 个月前
大数据·ai·seatunnel·技术分享·数据同步·gravitino
告别手敲 Schema!SeaTunnel 集成 Gravitino 元数据 RestApi 这个新动作有点酷每次在 Apache SeaTunnel 里配置非关系型数据库,看着那几百行还要手动定义的字段映射,是不是挺崩溃的?配置错一个字段,任务就报错,这种“体力活”真的该结束了。
SeaTunnel2 个月前
大数据·开源·apache·seatunnel·案例
Apache SeaTunnel 2025 案例精选重磅发布!过去这一年,Apache SeaTunnel 就像个数据小能手,成功“打入”众多企业的生产环境,为那些复杂的数据同步和集成难题,量身定制超棒的解决方案。社区小伙伴们超用心,把这些应用实践精心整理,编成了这本案例集。
码农丁丁4 个月前
apache·seatunnel
apache seatunnel 2.3.12 Changelog
SeaTunnel4 个月前
大数据·开源·apache·开发者·seatunnel·转换插件
Apache SeaTunnel 如何将 CDC 数据流转换为 Append-Only 模式?RowKindExtractor 是 Apache SeaTunnel 的一个转换插件,它能将 CDC 数据流转为 Append-Only 模式,并提取原始 RowKind 信息为新字段。本文将介绍 RowKindExtractor 的核心功能,其在 CDC 数据同步场景下的使用方法,以及配置选项、注意事项及多种应用示例。
SeaTunnel4 个月前
java·大数据·flink·开源·seatunnel
结项报告完整版:Apache SeaTunnel 支持 Flink 引擎 Schema Evolution 功能过去两周,我们对开源之夏活动中表现优异的开发者们进行了简单的采访,初步粗略地了解了一下他们的开发过程和心得体会。今天,我们将通过同学们的完整结项报告,深入了解项目的开发技术细节,希望能够帮助大家更好地了解 Apache SeaTunnel 项目的最新进展。
ApacheSeaTunnel4 个月前
大数据·开源·数据集成·seatunnel·数据同步
结项报告完整版 | Apache SeaTunnel支持metalake开发过去两周,我们对开源之夏活动中表现优异的开发者们进行了简单的采访,初步粗略地了解了一下他们的开发过程和心得体会。今天,我们将通过同学们的完整结项报告,深入了解项目的开发技术细节,希望能够帮助大家更好地了解 Apache SeaTunnel 项目的最新进展。
SeaTunnel4 个月前
大数据·开源·apache·个人开发·数据集成·seatunnel·看开源之夏
Apache SeaTunnel 支持 Metalake 开发了!避免任务配置敏感信息暴露今年的开源之夏活动已接近尾声,Apache SeaTunnel 社区的开发者们在经过漫长的开发过程也都收获了自己的成果。上周,我们通过文章《巾帼力量助力 Flink 引擎 CDC 源模式演进》分享了董嘉欣同学的开发故事,今天,让来看看另一位同学——来自上海交通大学软件工程专业的吴天宇,在本次活动中是如何完成开发任务的吧!
ApacheSeaTunnel5 个月前
大数据·开源·数据集成·seatunnel·技术分享
从小时级到分钟级:多点DMALL如何用Apache SeaTunnel把数据集成成本砍到1/3?作者 | 贾敏 多点DMALL 资深大数据研发工程师贾敏,多点 DMALL 资深大数据研发工程师,主导公司核心数据集成平台架构设计与 LakeHouse 的技术落地。拥有丰富的大数据平台架构经验,长期专注于PB 级数据实时同步、数据湖建设以及 Spark 计算引擎性能调优等主流大数据技术领域。作为 Active Contributor,持续在多个开源项目如 Apache Spark、Apache Iceberg、Apache Amoro (incubating) 、Volcano、Flink CDC 、A
SeaTunnel6 个月前
数据库·mysql·oracle·开源·seatunnel·数据同步·连接器
实测有效|用 SeaTunnel 免费实现 MySQL→Oracle 实时同步,步骤超细要说 MySQL 同步到Oracle的工具,除了传统的 OGG,应该考虑的就是 ST(SeaTunnel) 了吧,简直太好用啦 ~
Johny_Zhao7 个月前
linux·网络·网络安全·信息安全·kubernetes·云计算·containerd·devops·seatunnel·系统运维
SeaTunnel的搭建部署以及测试SeaTunnel(原Waterdrop)是一款高性能、易扩展的分布式数据集成平台,支持实时和批量数据处理。以下为 SeaTunnel v3.x 的安装及测试全流程指南:
ApacheSeaTunnel7 个月前
开源·seatunnel
从《中国开源年度报告》看中国开源力量的十年变迁中,Apache SeaTunnel 的跃迁在最近落下帷幕的 Community Over Code Asia 2025,华东师范大学教授王伟老师基于《中国开源年度报告》进行的一场分享,用一组数字为这段历程做了注脚:全球开源开发者突破 2200 万,其中中国开发者 198 万,仅次于美国、印度。
ApacheSeaTunnel8 个月前
大数据·数据集成·seatunnel·技术分享
从日志到告警,带你用好 SeaTunnel 的事件监听能力在数据集成任务日益复杂的今天,如何实时掌握作业执行过程中的关键事件,并基于这些事件触发后续逻辑处理,已经成为企业构建数据平台时不可或缺的一环。Apache SeaTunnel 从 2.3.0 开始引入了全新的事件监听机制(Event Listener),为用户提供了灵活的钩子体系,助力构建更智能、更具业务驱动的数据集成流程。
ApacheSeaTunnel8 个月前
大数据·开源·github·seatunnel
破 400!Apache SeaTunnel 成为全球开发者共建热土随着 Apache SeaTunnel 项目在全球数据集成领域的不断发展壮大,今天我们迎来了一个重要的里程碑 —— GitHub 贡献者数量正式突破 400 人! 🎉