- 实时数仓中,为什么没有零点漂移问题?
- 因为flink直接取的事件时间
- 用kafka是为了速度快,并且数据不丢,那为什么既用了kafkachannel,也用了kafka,而不只用kafkachannel呢?
- 因为需要削峰填谷
- 离线数仓中,为什么用两个flume,一个kafka,直接用taildirsource,kafkachannel,hdfssink不行吗?
- 不行
- kafka可以削峰填谷
- 如果用kafkachannel,那么数据写到kafka,只剩event,没有header,无法解决零点漂移问题,而多加一个flume,可以在kafkasource中添加拦截器。
离线数仓中,为什么用两个flume,一个kafka
青云游子2023-08-03 12:44
相关推荐
Elastic 中国社区官方博客3 小时前
Observability:适用于 PHP 的 OpenTelemetry:EDOT PHP 加入 OpenTelemetry 项目冰芒芒7 小时前
Kafka-2 Kafka的特点xc丶卡卡7 小时前
Windows 系统上安装 Kafka图乐aj7 小时前
kafka 运维基础知识白鲸开源8 小时前
实战干货:Apache DolphinScheduler 参数使用与优化总结yumgpkpm8 小时前
CMP(类Cloudera CDP 7.3 404版华为Kunpeng)与其他大数据平台对比JZC_xiaozhong9 小时前
跨系统流程如何打通?选 BPM 平台认准这三点中科岩创9 小时前
某地公园桥梁自动化监测服务项目艾斯比的日常9 小时前
Kafka Partition 深度解析:原理、策略与实战优化希赛网9 小时前
2025年第四期DAMA数据治理CDGA考试练习题