出行项目案例

spark和kafka主要通过Scala实现,Hadoop和HBase主要基于java实现。

通过该项目,主要达到以下目的:

(1)通用的数据处理流程,入门大数据领域

(2)真实体验大数据开发工程师的工作

(3)企业级的项目,利用这个思路可以做二次拓展开发

(4)从0到有,数据抽取、数据存储、数据处理、展现

大数据平台架构图:

大数据没有事务的概念,需要不间断完整地把流程跑完,没有事务回滚的概念。

相关推荐
hyx0412192 小时前
mysql第5次作业---hyx
数据库·mysql
nsjqj3 小时前
MySQL数据库:表的增删改查 [CRUD](进阶)【一】
数据库·mysql
她说..3 小时前
Redis实现未读消息计数
java·数据库·redis·缓存
xiayehuimou3 小时前
Redis核心技术与实战指南
数据库·redis·缓存
book多得3 小时前
Redis 大 Key 问题:识别、危害与最优处理方案
java·redis·mybatis
运维 小白3 小时前
k8s 部署MySQL主从集群(一主两从)1.0
mysql·容器·kubernetes
就叫飞六吧4 小时前
MySQL不停机迁移完全指南
数据库·mysql
小泊客4 小时前
使用讯飞星火 Spark X1-32K 打造本地知识助手
大数据·分布式·spark·大模型应用·本地知识助手
猎人everest4 小时前
Windows系统Redis(8.2.2)安装与配置完整教程
数据库·windows·redis
苦学编程的谢5 小时前
Redis_10_Zset
数据库·redis·缓存