seatunnel

SeaTunnel4 天前
大数据·数据库·mysql·开源·apache·seatunnel
Apache SeaTunnel MySQL CDC 支持按时间启动吗?在 MySQL CDC 任务中,很多用户都会遇到这样的问题:任务失败后该从哪里恢复?只知道一个时间点,却拿不到对应的 binlog 位点怎么办?Apache SeaTunnel 2.3.12 通过引入按时间启动(Timestamp Startup)功能,给出了更直观的答案。
ApacheSeaTunnel5 天前
大数据·ai·seatunnel·技术分享·数据同步·gravitino
告别手敲 Schema!SeaTunnel 集成 Gravitino 元数据 RestApi 这个新动作有点酷每次在 Apache SeaTunnel 里配置非关系型数据库,看着那几百行还要手动定义的字段映射,是不是挺崩溃的?配置错一个字段,任务就报错,这种“体力活”真的该结束了。
SeaTunnel18 天前
大数据·开源·apache·seatunnel·案例
Apache SeaTunnel 2025 案例精选重磅发布!过去这一年,Apache SeaTunnel 就像个数据小能手,成功“打入”众多企业的生产环境,为那些复杂的数据同步和集成难题,量身定制超棒的解决方案。社区小伙伴们超用心,把这些应用实践精心整理,编成了这本案例集。
码农丁丁2 个月前
apache·seatunnel
apache seatunnel 2.3.12 Changelog
SeaTunnel2 个月前
大数据·开源·apache·开发者·seatunnel·转换插件
Apache SeaTunnel 如何将 CDC 数据流转换为 Append-Only 模式?RowKindExtractor 是 Apache SeaTunnel 的一个转换插件,它能将 CDC 数据流转为 Append-Only 模式,并提取原始 RowKind 信息为新字段。本文将介绍 RowKindExtractor 的核心功能,其在 CDC 数据同步场景下的使用方法,以及配置选项、注意事项及多种应用示例。
SeaTunnel2 个月前
java·大数据·flink·开源·seatunnel
结项报告完整版:Apache SeaTunnel 支持 Flink 引擎 Schema Evolution 功能过去两周,我们对开源之夏活动中表现优异的开发者们进行了简单的采访,初步粗略地了解了一下他们的开发过程和心得体会。今天,我们将通过同学们的完整结项报告,深入了解项目的开发技术细节,希望能够帮助大家更好地了解 Apache SeaTunnel 项目的最新进展。
ApacheSeaTunnel3 个月前
大数据·开源·数据集成·seatunnel·数据同步
结项报告完整版 | Apache SeaTunnel支持metalake开发过去两周,我们对开源之夏活动中表现优异的开发者们进行了简单的采访,初步粗略地了解了一下他们的开发过程和心得体会。今天,我们将通过同学们的完整结项报告,深入了解项目的开发技术细节,希望能够帮助大家更好地了解 Apache SeaTunnel 项目的最新进展。
SeaTunnel3 个月前
大数据·开源·apache·个人开发·数据集成·seatunnel·看开源之夏
Apache SeaTunnel 支持 Metalake 开发了!避免任务配置敏感信息暴露今年的开源之夏活动已接近尾声,Apache SeaTunnel 社区的开发者们在经过漫长的开发过程也都收获了自己的成果。上周,我们通过文章《巾帼力量助力 Flink 引擎 CDC 源模式演进》分享了董嘉欣同学的开发故事,今天,让来看看另一位同学——来自上海交通大学软件工程专业的吴天宇,在本次活动中是如何完成开发任务的吧!
ApacheSeaTunnel4 个月前
大数据·开源·数据集成·seatunnel·技术分享
从小时级到分钟级:多点DMALL如何用Apache SeaTunnel把数据集成成本砍到1/3?作者 | 贾敏 多点DMALL 资深大数据研发工程师贾敏,多点 DMALL 资深大数据研发工程师,主导公司核心数据集成平台架构设计与 LakeHouse 的技术落地。拥有丰富的大数据平台架构经验,长期专注于PB 级数据实时同步、数据湖建设以及 Spark 计算引擎性能调优等主流大数据技术领域。作为 Active Contributor,持续在多个开源项目如 Apache Spark、Apache Iceberg、Apache Amoro (incubating) 、Volcano、Flink CDC 、A
SeaTunnel5 个月前
数据库·mysql·oracle·开源·seatunnel·数据同步·连接器
实测有效|用 SeaTunnel 免费实现 MySQL→Oracle 实时同步,步骤超细要说 MySQL 同步到Oracle的工具,除了传统的 OGG,应该考虑的就是 ST(SeaTunnel) 了吧,简直太好用啦 ~
Johny_Zhao6 个月前
linux·网络·网络安全·信息安全·kubernetes·云计算·containerd·devops·seatunnel·系统运维
SeaTunnel的搭建部署以及测试SeaTunnel(原Waterdrop)是一款高性能、易扩展的分布式数据集成平台,支持实时和批量数据处理。以下为 SeaTunnel v3.x 的安装及测试全流程指南:
ApacheSeaTunnel6 个月前
开源·seatunnel
从《中国开源年度报告》看中国开源力量的十年变迁中,Apache SeaTunnel 的跃迁在最近落下帷幕的 Community Over Code Asia 2025,华东师范大学教授王伟老师基于《中国开源年度报告》进行的一场分享,用一组数字为这段历程做了注脚:全球开源开发者突破 2200 万,其中中国开发者 198 万,仅次于美国、印度。
ApacheSeaTunnel6 个月前
大数据·数据集成·seatunnel·技术分享
从日志到告警,带你用好 SeaTunnel 的事件监听能力在数据集成任务日益复杂的今天,如何实时掌握作业执行过程中的关键事件,并基于这些事件触发后续逻辑处理,已经成为企业构建数据平台时不可或缺的一环。Apache SeaTunnel 从 2.3.0 开始引入了全新的事件监听机制(Event Listener),为用户提供了灵活的钩子体系,助力构建更智能、更具业务驱动的数据集成流程。
ApacheSeaTunnel6 个月前
大数据·开源·github·seatunnel
破 400!Apache SeaTunnel 成为全球开发者共建热土随着 Apache SeaTunnel 项目在全球数据集成领域的不断发展壮大,今天我们迎来了一个重要的里程碑 —— GitHub 贡献者数量正式突破 400 人! 🎉
ApacheSeaTunnel6 个月前
大数据·mysql·开源·数据集成·s3·seatunnel·数据同步
MySQL 数据同步至 S3file,并接入 Hive 访问:SeaTunnel 实践指南作者 | 番兄如何借助 Apache SeaTunnel 将 MySQL 数据高效同步至 S3file?本文详述的步骤已全部通过测试验证,适用于构建基于对象存储的数据中台场景,具备部署灵活、扩展性强等优势,对有 MySQL 到 S3 数据集成需求的用户具有较高的参考价值,点赞、收藏学习吧!
SunTecTec7 个月前
intellij-idea·seatunnel
【阿里巴巴JAVA开发手册】IDE的text file encoding设置为UTF-8; IDE中文件的换行符使用Unix格式,不要使用Windows格式。问题:当使用 IDEA SSH 远程开发时,SFTP 同步的 Windows 本地编辑的 config/plugin_config 文件文本内容中 “换行符”与 Unix、Linux 的文件文本内容换行符字符集不一致,导致 docker 容器中自定义 /opt/seatunnel/bin/install_plugin 在执行以 Windows 下编辑的 config/plugin_config 时,遍历行读该文件内容格式提供给 mvnw 命令执行,执行过程异常,mvnw下载错误 BUILD FAILURE
SeaTunnel7 个月前
大数据·开源·bug·数据集成·seatunnel
SeaTunnel 社区月报(5-6 月):全新功能上线、Bug 大扫除、Merge 之星是谁?在 5 月和 6 月,SeaTunnel 社区迎来了一轮密集更新:2.3.11 正式发布,新增对 Databend、Elasticsearch 向量、HTTP 批量写入、ClickHouse 多表写入等多个连接器能力,全面提升了数据同步灵活性。同时,近 100 个修复与优化 PR 合入,涵盖 Spark 引擎并行性修复、Paimon 精度兼容性增强、Mongo-CDC ExactlyOnce 默认值优化、Oracle DDL 类型支持补全等核心问题,稳定性和兼容性持续升级。
GawynKing7 个月前
spark·源码·seatunnel
Apache SeaTunnel Spark引擎执行流程源码分析目录1. 任务启动入口2. 任务执行命令类:SparkTaskExecuteCommand3. SparkExecution的创建与初始化
ApacheSeaTunnel7 个月前
大数据·开源·数据集成·seatunnel·技术分享·maven daemon
实测提速 60%!Maven Daemon 全面加速 SeaTunnel 编译打包效率作者 | 张东浩在大规模数据集成项目中,构建效率尤为关键。本文实测了 Apache SeaTunnel 项目在使用传统 Maven 与新一代构建工具 Maven Daemon(mvnd)下的打包效率差异,结果显示 mvnd 方案通过守护进程与多线程构建机制,实现了约 60% 的性能提升。无需修改 pom.xml 即可兼容现有项目,是开发者提效的利器。附详细安装、使用教程与对比数据,建议你立即尝试!
SeaTunnel7 个月前
数据库·mysql·开源·数据集成·seatunnel·databend
如何将SeaTunnel MySQL-CDC与Databend 高效整合?格式与方案全解析转载自wubxSeaTunnel 是一款易用且高性能的分布式数据集成平台,支持实时海量数据同步,具备稳定、高效的处理能力,每天可同步数百亿级别的数据,现已在国内 3000+ 企业的生产环境中广泛应用。