数据集成

SL-staff14 小时前
doris·数据集成·数据中台·elt·jvs-bi·采购数字化·低代码分析
采购数据链打通实战:三步用JVS-BI实现跨系统ELT与嵌入式分析(附配置逻辑)本文以采购协同为典型场景,从技术落地视角拆解如何在不改造ERP/MES/WMS等源系统前提下,通过JVS-BI构建轻量级采购数据中台:涵盖多源接入、可视化ELT建模、主题数据集生成及分析能力嵌入业务流程的完整实践路径。
ApacheSeaTunnel4 天前
大数据·开源·数据集成·seatunnel·技术分享·数据同步
一个关于数据集成的真相:链路 Success 不等于数据真实可靠在数据工程领域,Fivetran 经常被认为是“简单、省运维”的代表,而 Apache SeaTunnel 等开源项目则意味着更高的灵活性和更强的自主控制能力。究竟应该选择 Managed ELT,还是自己搭建数据集成平台,一直是数据团队争论不休的问题。
SeaTunnel10 天前
http·开源·json·apache·数据集成·seatunnel
从 JSON 到 JSONL,Apache SeaTunnel 如何解决HTTP 大数据传输的内存难题?转载自 | 数仓生态圈SeaTunnel可以从HTTP中获取数据,一般来说,HTTP会返回一个JSON格式的字符串,SeaTunnel解析JSON后分解出来数据类型,然后输出到目标系统中。
ApacheSeaTunnel11 天前
数据集成·seatunnel·数据同步
数据接入与同步不能是“黑盒”!当企业的数据管道成为核心生产系统时,真正的风险往往不是“同步失败”,而是你不知道它为什么成功,也不知道它为什么失败。
ApacheSeaTunnel18 天前
大数据·数据集成·基准测试·seatunnel·数据同步
从 60万行/秒说起,看 SeaTunnel Zeta 基准测试如何做到”测得准“作者 | Niu Zhiwei图 1:同一轮运行中的 JMH 汇总,包括完整 Pipeline 和 SeaTunnelRow 热点操作
ApacheSeaTunnel24 天前
大数据·开源·数据集成·seatunnel·技术分享·数据同步
Apache SeaTunnel 提交一个任务都经过了什么?一次 SeaTunnel 任务提交,看起来只是一次 submitJob 请求;但在 Server 内部,它会经过 Master 判断、任务协调、JobMaster 初始化、物理执行计划构建、Pipeline 资源申请、TaskGroup 部署等多个阶段。
ApacheSeaTunnel1 个月前
大数据·开源·数据集成·seatunnel·技术分享·数据同步
Apache SeaTunnel 2.3.12 进阶实战:MySQL to PostgreSQL 5 套生产场景同步 Demo本文将从 PostgreSQL 容器部署、测试数据构建,到 5 类生产常用同步模式全覆盖,手把手讲解 SeaTunnel 数据转换、批量优化、前置 SQL 执行等核心技巧,零基础也能快速上手异构数据同步。
ApacheSeaTunnel1 个月前
大数据·ai·开源·大模型·数据集成·cli·seatunnel·技术分享·数据同步
Apache SeaTunnel AI CLI Benchmark:7 款大模型、100 个 ETL 任务实测,谁真正能跑起来?作者 | 张鑫,Apache SeaTunnel Contributor摘要: 大模型正在快速进入数据工程领域,承担理解自然语言需求、生成 ETL 任务配置、校验配置,以及在执行失败后协助定位和修复问题等工作。对团队而言,真正困难的并不是让模型“生成一份配置”,而是避免选到一个只会生成看似正确、却无法在生产环境中稳定运行的模型。
ApacheSeaTunnel1 个月前
大数据·数据库·ai·开源·数据集成·seatunnel·技术分享·数据同步
一套替代四套!同程旅行用 Apache SeaTunnel 搭建多模态统一数据通道同程旅行数据通道服务历经多年演进,形成了数据搬运、数据集成、Sqoop、SeaTunnel 四套并存的格局,功能重叠、引擎割裂、整体运维成本居高不下。
ApacheSeaTunnel2 个月前
大数据·开源·数据集成·seatunnel·技术分享·数据同步·airbyte·fivetran
为什么 Data Ingestion 还没有被 Fivetran/Airbyte 完全解决?在 Reddit 的数据工程社区(r/dataengineering)里,关于数据接入(Data Ingestion)的选型讨论永远充满着火药味。当团队需要在生产环境落地一套现代数据栈(MDS)时,最常见的纠结就是:“选 Fivetran 还是 Airbyte?或者还有什么开源的硬核替代方案?”
ApacheSeaTunnel2 个月前
大数据·开源·数据集成·seatunnel·技术分享·数据同步
当多表数据涌入,Apache SeaTunnel 如何巧妙化解主键冲突?点亮Star!https://github.com/apache/seatunnel来源 | 数仓生态圈
ApacheSeaTunnel2 个月前
大数据·mysql·开源·doris·数据集成·seatunnel·数据同步
实战演示 | 基于 Apache SeaTunnel 与 Apache DolphinScheduler 实现 MySQL 到 Doris 离线定时增量同步在企业数据平台建设过程中,数据同步是一项非常常见的需求。随着业务规模不断增长,全量同步带来的数据库压力和资源消耗也会越来越大。因此,在实际生产环境中,增量同步往往是更常见的选择。
挨踢诗人3 个月前
python·数据集成
天猫(淘宝开放平台)集成金蝶云星空电商企业线上线下数据割裂,天猫店铺前端销售与金蝶云星空后端供应链、财务数据无法互通,导致商品信息重复录入、库存不准易超卖、订单发货与售后退货需人工线下录入财务单据,业务效率低、数据易出错、业财不同步。企业亟需通过天猫与金蝶云星空的集成,实现商品、库存、订单、售后数据自动同步,打通电商与业财一体化流程。
挨踢诗人3 个月前
python·数据集成
旺店通ERP集成金蝶云星空解决方案在电商与实体业务融合的数字化转型浪潮中,许多企业面临订单、库存、采购等数据在多系统间孤岛的问题。旺店通ERP作为专业的电商ERP系统,擅长订单管理、仓储物流和多平台销售协同,而金蝶云星空作为面向成长型企业的云ERP平台,在财务管控、供应链协同、多组织管理等方面具备强大能力。
千桐科技3 个月前
开源·数据治理·数据集成·数据开发·数据中台·元数据管理·qdata
qData 数据中台社区开源版 v1.4.0 发布:元数据管理核心模块正式上线近日,qData 数据中台社区开源版 v1.4.0 正式发布。qData 数据中台是一套面向企业数据治理与数据研发场景的开源数据中台,围绕 ETL 数据集成、数据开发、数据建模、元数据管理、数据质量、数据资产、API 数据服务与 AI 智能问数 等核心能力,支持 MySQL、DM8、Oracle、SQL Server、Kingbase8、Doris 等常用数据库接入,帮助企业快速完成数据接入、清洗转换、资产编目、质量检查、接口开放和 Text2SQL 分析。
ApacheSeaTunnel3 个月前
大数据·ai·开源·数据集成·seatunnel·技术分享·数据同步
AI 让 SeaTunnel 读源码和调试过时了吗?在本周的 Apache SeaTunnel Meetup 上,项目活跃贡献者 梁尧博为我们分享了一场非常精彩的话题——AI 时代下如何更高效地进行 SeaTunnel 本地调试。他通过细致的讲解,从环境准备到调试跑通的整个过程都进行了详细的展示,让已经或者打算上手 SeaTunnel 的观众都对如何进行源码调试、问题定位和自己修 bug 有了更直观和深入的了解。现在,分享内容已经整理成文字版,供大家学习参考。
千桐科技4 个月前
开源软件·数据治理·数据集成·数据中台·元数据管理·主数据管理·qdata
qData 数据中台专业版更新:v2.1.0 发布亮点一览,更快、更稳、更智能近期,qData 数据中台专业版正式迭代至 v2.1.0。本次更新围绕 逻辑模型升级、元数据管理与智能分析开发、数据建模能力完善、数据安全治理强化 四大方向,不仅完成了逻辑模型的全面改版与元数据采集体系的搭建,还上线了 ChatBI 智能对话分析能力,同步优化了数据资产血缘与注册机制,进一步打通从“建数”到“用数”的全链路。
RestCloud4 个月前
数据仓库·etl·零售·数据处理·数据集成·数据传输·数据同步
零售行业全渠道数据整合:ETL工具如何支撑精准营销?在全渠道零售时代,消费者的购物行为日益复杂,数据成为企业最宝贵的资产。然而,碎片化的数据孤岛、低质量的数据资产、割裂的客户视图,成为阻碍零售企业实现精准营销的三大障碍。ETL(提取、转换、加载)工具作为数据整合的关键技术,正在为零售企业打开全渠道数据整合与精准营销的新局面。
ApacheSeaTunnel4 个月前
大数据·ai·开源·数据集成·seatunnel·数据同步
SeaTunnel + AI:一句“我要做什么”,能不能直接变成一份能跑的配置?围绕 Apache SeaTunnel Discussion #10651 的一些思考:AI 写配置,难的从来不是“写出来”,而是“写出来以后真能用。”
RestCloud4 个月前
数据仓库·etl·cdc·数据处理·数据集成·数据传输·数据同步
流式优先数据架构:从批量ETL到事件驱动架构的演进之路理解流式优先架构的关键,不是学习某个新工具,而是理解它背后的范式转换。1.传统批量ETL的核心假设传统ETL架构建立在几个隐含假设之上: