大数据之flink与hive

其实吧我不太想写flink,因为线上经验确实不多,这也是我需要补的地方,没有条件创造条件,先来一篇吧

flink:

高性能 低延迟 流批一体的分布式计算框架

基于事件时间 对实时数据精准处理 快速响应

支持批处理,高效离线分析和数据挖掘 数据仓库的引擎

丰富数据源/接收器,集成多种数据存储格式和源,比较常见就是咱们今天的主题hive了

checkpoint恢复机制,故障恢复快速恢复计算任务

分布式弹性扩展,据业务灵活增加/减少计算资源,保证任务稳定性和高效性

hive:

hadoop数据仓库工具,将结构化数据映射为表,查询和管理

相关推荐
hengzhepa15 分钟前
ElasticSearch备考 -- Async search
大数据·学习·elasticsearch·搜索引擎·es
GZ_TOGOGO1 小时前
【2024最新】华为HCIE认证考试流程
大数据·人工智能·网络协议·网络安全·华为
狼头长啸李树身3 小时前
眼儿媚·秋雨绵绵窗暗暗
大数据·网络·服务发现·媒体
Json_181790144804 小时前
商品详情接口使用方法和对接流程如下
大数据·json
Data 3174 小时前
Hive数仓操作(十七)
大数据·数据库·数据仓库·hive·hadoop
bubble小拾8 小时前
ElasticSearch高级功能详解与读写性能调优
大数据·elasticsearch·搜索引擎
ZOHO项目管理软件8 小时前
EDM平台大比拼 用户体验与营销效果双重测评
大数据
HyperAI超神经9 小时前
Meta 首个多模态大模型一键启动!首个多针刺绣数据集上线,含超 30k 张图片
大数据·人工智能·深度学习·机器学习·语言模型·大模型·数据集
Hello.Reader11 小时前
TopK算法在大数据重复数据分析中的应用与挑战
大数据·算法·数据分析
数据龙傲天11 小时前
1688商品API接口:电商数据自动化的新引擎
java·大数据·sql·mysql