spark

阶段性

阶段一:

单机时代

阶段二:

大数据时代-分布式处理

阶段三:

实时大数据时代

hadoop慢因为她的计算结果保存在磁盘 处理在spark中可解决属于内存

Hadoop特点:

高可靠性

高拓展性

高效性

高容错性

相关推荐
利刃大大9 分钟前
【RabbitMQ】重试机制 && TTL && 死信队列
分布式·后端·消息队列·rabbitmq·队列
talle202119 分钟前
Hadoop分布式资源管理框架【Yarn】
大数据·hadoop·分布式
LDG_AGI44 分钟前
【机器学习】深度学习推荐系统(二十五): X 推荐算法特征系统详解:230+ 特征全解析
人工智能·分布式·深度学习·算法·机器学习·推荐算法
LDG_AGI1 小时前
【机器学习】深度学习推荐系统(二十八):X 推荐算法listwiseRescoring(同刷多样性降权)机制详解
人工智能·分布式·深度学习·算法·机器学习·推荐算法
yumgpkpm1 小时前
基于GPU的Spark应用加速 Cloudera CDP/华为CMP鲲鹏版+Nvidia英伟达联合解决方案
大数据·数据库·人工智能·hadoop·elasticsearch·spark·cloudera
鸿乃江边鸟1 小时前
Spark Datafusion Comet 向量化--ApplyColumnarRulesAndInsertTransitions规则
大数据·spark·native
我是一只小青蛙8882 小时前
分布式流量守卫者:Sentinel深度解析
分布式·sentinel
BHXDML2 小时前
Java 常用中间件体系化解析——从单体到分布式,从“能跑”到“可控、可扩展、可演进”
java·分布式·中间件
Elastic 中国社区官方博客14 小时前
使用 Elastic 中的 OpenTelemetry 为 Nginx 实现端到端分布式追踪的实用指南
大数据·运维·分布式·elasticsearch·搜索引擎·信息可视化·全文检索
win x14 小时前
Redis 分布式锁
数据库·redis·分布式