出行项目案例

spark和kafka主要通过Scala实现,Hadoop和HBase主要基于java实现。

通过该项目,主要达到以下目的:

(1)通用的数据处理流程,入门大数据领域

(2)真实体验大数据开发工程师的工作

(3)企业级的项目,利用这个思路可以做二次拓展开发

(4)从0到有,数据抽取、数据存储、数据处理、展现

大数据平台架构图:

大数据没有事务的概念,需要不间断完整地把流程跑完,没有事务回滚的概念。

相关推荐
wei_shuo10 分钟前
openEuler 25.09 实操指南:飞腾 arm64 服务器的 C 程序开发与 Hadoop 伪集群部署及性能测试
hadoop·openeuler
八饱粥13 分钟前
excel数据导入mysql数据库
数据库·mysql·excel
路边草随风14 分钟前
java 实现 flink cdc 读 mysql binlog 按表写入kafka不同topic
java·大数据·mysql·flink
('-')16 分钟前
《从根上理解MySQL是怎样运行的》第二十四章笔记
数据库·笔记·mysql
007php00716 分钟前
Elasticsearch经典面试题案例分析
redis·elasticsearch·搜索引擎·面试·职场和发展·全文检索·jenkins
CodeAmaz17 分钟前
MySQL 事务的实现原理详解
数据库·mysql·事务·隔离性
Hello.Reader18 分钟前
Flink SQL + Kafka 实时统计部门人数
sql·flink·kafka
♡喜欢做梦18 分钟前
MyBatis操作数据库(进阶):动态SQL
java·数据库·sql·java-ee·mybatis
copyer_xyf19 分钟前
SQL 语法速查手册:前端开发者的学习笔记
前端·数据库·sql
武子康2 小时前
Java-184 缓存实战:本地缓存 vs 分布式缓存(含 Guava/Redis 7.2)
java·redis·分布式·缓存·微服务·guava·本地缓存