- 实时数仓中,为什么没有零点漂移问题?
- 因为flink直接取的事件时间
- 用kafka是为了速度快,并且数据不丢,那为什么既用了kafkachannel,也用了kafka,而不只用kafkachannel呢?
- 因为需要削峰填谷
- 离线数仓中,为什么用两个flume,一个kafka,直接用taildirsource,kafkachannel,hdfssink不行吗?
- 不行
- kafka可以削峰填谷
- 如果用kafkachannel,那么数据写到kafka,只剩event,没有header,无法解决零点漂移问题,而多加一个flume,可以在kafkasource中添加拦截器。
离线数仓中,为什么用两个flume,一个kafka
青云游子2023-08-03 12:44
相关推荐
东哥说-MES|从入门到精通1 小时前
GenAI-生成式人工智能在工业制造中的应用万岳软件开发小城2 小时前
教育APP/小程序开发标准版图:课程、题库、直播、学习一站式梳理STLearner3 小时前
AI论文速读 | U-Cast:学习高维时间序列预测的层次结构数字化顾问3 小时前
(65页PPT)大型集团物料主数据管理系统建设规划方案(附下载方式)老蒋新思维4 小时前
创客匠人 2025 全球创始人 IP+AI 万人高峰论坛:AI 赋能下知识变现与 IP 变现的实践沉淀与行业启示河南博为智能科技有限公司5 小时前
高集成度国产八串口联网服务器:工业级多设备联网解决方案无代码专家7 小时前
设备巡检数字化解决方案:构建高效闭环管理体系天远数科7 小时前
Node.js 原生加密指南:详解 Crypto 模块对接天远银行卡黑名单接口expect7g7 小时前
Paimon Branch --- 流批一体化之二天远云服8 小时前
高并发风控实践:AES 加密与银行卡风险标签清洗的 Go 语言实现