大数据之flink与hive

其实吧我不太想写flink,因为线上经验确实不多,这也是我需要补的地方,没有条件创造条件,先来一篇吧

flink:

高性能 低延迟 流批一体的分布式计算框架

基于事件时间 对实时数据精准处理 快速响应

支持批处理,高效离线分析和数据挖掘 数据仓库的引擎

丰富数据源/接收器,集成多种数据存储格式和源,比较常见就是咱们今天的主题hive了

checkpoint恢复机制,故障恢复快速恢复计算任务

分布式弹性扩展,据业务灵活增加/减少计算资源,保证任务稳定性和高效性

hive:

hadoop数据仓库工具,将结构化数据映射为表,查询和管理

相关推荐
Elastic 中国社区官方博客4 小时前
使用真实 Elasticsearch 进行高级集成测试
大数据·数据库·elasticsearch·搜索引擎·全文检索·jenkins·集成测试
一张假钞4 小时前
Spark SQL读写Hive Table部署
hive·sql·spark
好记性+烂笔头4 小时前
4 Spark Streaming
大数据·ajax·spark
想做富婆5 小时前
Hive:窗口函数[ntile, first_value,row_number() ,rank(),dens_rank()]和自定义函数
数据仓库·hive·hadoop
Leven1995276 小时前
Flink (十三) :Table API 与 DataStream API 的转换 (一)
数据库·sql·flink
好记性+烂笔头8 小时前
3 Flink 运行架构
大数据·架构·flink
字节侠8 小时前
Flink2支持提交StreamGraph到Flink集群
大数据·flink·streamgraph·flink2·jobgraph
好记性+烂笔头11 小时前
4 Hadoop 面试真题
大数据·hadoop·面试
好记性+烂笔头12 小时前
10 Flink CDC
大数据·flink
赵渝强老师14 小时前
【赵渝强老师】Spark RDD的依赖关系和任务阶段
大数据·缓存·spark