大数据之flink与hive

其实吧我不太想写flink,因为线上经验确实不多,这也是我需要补的地方,没有条件创造条件,先来一篇吧

flink:

高性能 低延迟 流批一体的分布式计算框架

基于事件时间 对实时数据精准处理 快速响应

支持批处理,高效离线分析和数据挖掘 数据仓库的引擎

丰富数据源/接收器,集成多种数据存储格式和源,比较常见就是咱们今天的主题hive了

checkpoint恢复机制,故障恢复快速恢复计算任务

分布式弹性扩展,据业务灵活增加/减少计算资源,保证任务稳定性和高效性

hive:

hadoop数据仓库工具,将结构化数据映射为表,查询和管理

相关推荐
涤生大数据10 分钟前
探索Doris:日志分析的新宠,是否能取代老牌ES?
大数据·elasticsearch·doris
阿巴阿巴拉1 小时前
Scala相关知识学习总结4
大数据·scala
码界筑梦坊2 小时前
基于Django的二手交易校园购物系统
大数据·后端·python·信息可视化·django
花和尚_鲁智深2 小时前
数据仓库:规范
大数据
小诸葛的博客5 小时前
es基本概念
大数据·elasticsearch·搜索引擎
青云交5 小时前
Java 大视界 -- Java 大数据机器学习模型在金融衍生品定价中的创新方法与实践(166)
java·大数据·金融·数据采集·机器学习模型·java 大数据·金融衍生品定价
Y1nhl7 小时前
Pyspark学习二:快速入门基本数据结构
大数据·数据结构·python·学习·算法·hdfs·pyspark
搞程序的心海10 小时前
用Scala玩转Flink:从零构建实时处理系统
开发语言·flink·scala
XF鸭12 小时前
在Hive中,将数据从一个表查询并插入到另一个表
数据仓库·hive·hadoop
互联网之声12 小时前
“清凉海岛·创享一夏” 海南启动旅游线路产品创意设计大赛
大数据·网络·旅游