基于Hadoop平台的电信客服数据的处理与分析①项目准备阶段---项目技术预研(技术架构)

任务描述

掌握项目的总体功能,及实现流程。预习项目中所使用到的技术和知识点。

任务指导

一、项目效果展示

二、项目架构

1、总体架构:

2、技术架构

  • 技术清单:
功能 组件 说明
消息中间件 Kafka 消息队列
数据采集 Flume 日志采集工具
存储 HDFS 分布式文件系统
存储 MySQL 关系数据库
监控管理调度运维 YARN 分布式资源调度分配
监控管理调度运维 Zookeeper 集群节点协调
项目开发框架 Maven 项目管理工具
项目开发框架 IntelliJ IDEA 项目集成开发环境

三、项目主要涉及的技术

1、技术选型:项目的解决方案

以Maven+IntelliJ IDEA作为开发环境,以Hadoop HDFS、HBase为底层存储,通过分析HBase数据将结果存储在MySQL供前端框架展示。

  • 中间件:Kafka
  • 平台调度:YARN
  • 数据存储,持久化:HDFS、HBase,MySQL
  • 数据可视化:Spring Framework

2、平台总体分为4个层级,按数据流入及数据处理顺序,依次分为

1)数据导入层

数据导入需满足以下要求:

  • 已开启Hadoop HDFS框架环境,已开启Highly Available(HA)高可用。

2)数据存储层

  • 导入的数据统一经过Kafka缓存,以避免数据堵塞保证系统的稳定性。

3)数据分析层

  • 已开启Hadoop YARN框架环境,已开启Highly Available(HA)高可用。

4)应用层

  • 模拟电信呼叫数据保存至本地CallLog.txt文件;
  • Flume推送CallLog.txt文件到Kafka进行缓存;
  • 读取Kafka数据进行预处理并持久化道HBase;
  • 对HBase数据进行分析统计,将结果保存至MySQL供前端Spring Framework查询展示。

四、参考资料

  • 《Linux操作系统》
  • 《Hadoop权威指南:大数据的存储与分析(第4版)》
  • 《Kafka权威指南》
  • 《Redis设计与实现》
  • 《数据可视化技术》
相关推荐
码字的字节2 小时前
ZooKeeper在Hadoop中的协同应用:从NameNode选主到分布式锁实现
hadoop·分布式·zookeeper·分布式锁
白-胖-子4 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
数据与人工智能律师7 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
Pomelo_刘金7 小时前
用 DDD 把「闹钟」需求一点点捏出来
架构·rust·领域驱动设计
Pomelo_刘金8 小时前
Clean Architecture 整洁架构:借一只闹钟讲明白「整洁架构」的来龙去脉
后端·架构·rust
碳酸的唐8 小时前
Inception网络架构:深度学习视觉模型的里程碑
网络·深度学习·架构
mykyle9 小时前
Elasticsearch-ik分析器
大数据·elasticsearch·jenkins
weixin_lynhgworld10 小时前
淘宝扭蛋机小程序系统开发:重塑电商互动模式
大数据·小程序
五点六六六12 小时前
前端常见的性能指标采集
前端·性能优化·架构
RPA+AI十二工作室12 小时前
影刀RPA_Temu关键词取数_源码解读
大数据·自动化·源码·rpa·影刀