大数据之flink与hive

其实吧我不太想写flink,因为线上经验确实不多,这也是我需要补的地方,没有条件创造条件,先来一篇吧

flink:

高性能 低延迟 流批一体的分布式计算框架

基于事件时间 对实时数据精准处理 快速响应

支持批处理,高效离线分析和数据挖掘 数据仓库的引擎

丰富数据源/接收器,集成多种数据存储格式和源,比较常见就是咱们今天的主题hive了

checkpoint恢复机制,故障恢复快速恢复计算任务

分布式弹性扩展,据业务灵活增加/减少计算资源,保证任务稳定性和高效性

hive:

hadoop数据仓库工具,将结构化数据映射为表,查询和管理

相关推荐
沧海一粟青草喂马1 分钟前
抖音批量上传视频怎么弄?抖音矩阵账号管理的专业指南
大数据·人工智能·矩阵
理智的煎蛋38 分钟前
CentOS/Ubuntu安装显卡驱动与GPU压力测试
大数据·人工智能·ubuntu·centos·gpu算力
赵孝正1 小时前
GitLab 分支管理与 Push 问题全解析
大数据·elasticsearch·gitlab
嘉禾望岗5031 小时前
Yarn介绍与HA搭建
大数据·hadoop·yarn
小麦矩阵系统永久免费2 小时前
小麦矩阵系统:让短视频分发实现抖音快手小红书全覆盖
大数据·人工智能·矩阵
IT研究室2 小时前
大数据毕业设计选题推荐-基于大数据的国家药品采集药品数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·信息可视化·spark·毕业设计·数据可视化·bigdata
Lx3523 小时前
Hadoop性能瓶颈分析:从JVM到磁盘IO的全链路优化
大数据·hadoop
大数据点灯人3 小时前
【Flink】Flink Runtime 开发指南
大数据·flink
一个java开发3 小时前
distributed.client.Client 用户可调用函数分析
大数据·python
字节数据平台5 小时前
一客一策:Data Agent 如何重构大模型时代的智能营销
大数据·人工智能·重构