大数据之flink与hive

其实吧我不太想写flink,因为线上经验确实不多,这也是我需要补的地方,没有条件创造条件,先来一篇吧

flink:

高性能 低延迟 流批一体的分布式计算框架

基于事件时间 对实时数据精准处理 快速响应

支持批处理,高效离线分析和数据挖掘 数据仓库的引擎

丰富数据源/接收器,集成多种数据存储格式和源,比较常见就是咱们今天的主题hive了

checkpoint恢复机制,故障恢复快速恢复计算任务

分布式弹性扩展,据业务灵活增加/减少计算资源,保证任务稳定性和高效性

hive:

hadoop数据仓库工具,将结构化数据映射为表,查询和管理

相关推荐
Acrelhuang2 小时前
覆盖全场景需求:Acrel-1000 变电站综合自动化系统的技术亮点与应用
大数据·网络·人工智能·笔记·物联网
忙碌5442 小时前
智能应用开发指南:深度学习、大数据与微服务的融合之道
大数据·深度学习·微服务
萤丰信息2 小时前
智慧园区系统:开启园区管理与运营的新时代
java·大数据·人工智能·安全·智慧城市·智慧园区
Q26433650233 小时前
【有源码】基于Hadoop+Spark的起点小说网大数据可视化分析系统-基于Python大数据生态的网络文学数据挖掘与可视化系统
大数据·hadoop·python·信息可视化·数据分析·spark·毕业设计
洞见新研社3 小时前
家庭机器人,从科幻到日常的二十年突围战
大数据·人工智能·机器人
筑梦之人4 小时前
Spark-3.5.7文档2 - RDD 编程指南
大数据·分布式·spark
艾莉丝努力练剑6 小时前
【C++:红黑树】深入理解红黑树的平衡之道:从原理、变色、旋转到完整实现代码
大数据·开发语言·c++·人工智能·红黑树
ImproveJin6 小时前
Flink Source源码解析
大数据·flink
PONY LEE6 小时前
Flink Rebalance触发乱序的问题
大数据·flink
snowful world6 小时前
实验四 综合数据流处理-Storm案例实现
大数据·storm