大数据课程L7——网站流量项目的操作步骤

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 了解网站流量项目的Spark与HBase整合;

⚪ 掌握网站流量项目的实时流业务处理;

一、 Spark 与 HBase 整合基础

1. 实现步骤:

  1. 启动 IDEA。

  2. 创建 Maven 工程,骨架选择 quickstart 。

  3. IDEA 安装 Scala 插件。

file ---> settings ---> plugins

搜素 Scala 插件,安装即可,安装完成后重启。

  1. 为 fluxStreamingServer 工程添加 Scala sdk 。

工程上右键 ---> add framework suppor

  1. 创建一个 Scala 目录,使其成为 source root 。

  2. 引入工程 pom,详见笔记。

  3. 学习 Spark 与 HBase 整合基础。

  4. 确定一下 Windows hosts 文件主机名与 ip 的映射是否正确。

  5. 启动服务器。

  6. 启动三台 zookeeper 集群。

  7. 启动 Hadoop 。

  8. 启动 HBase,进入01服务器 HBase 的 bin 目录, 执行如下指令:

sh start-hbase.sh

  1. 执行如下指令进入 hbase客户端,建表。

sh hbase shell

二、实时流业务处理

1. 实现步骤:

  1. 启动三台服务器。

  2. 启动 zookeeper 集群。

  3. 启动 Hadoop 。

  4. 启动 Kafka 集群 。

  5. 启动 flume 。

  6. 整合 SparkStreaming 与 Kafka,完成代码编写。

  7. 启动 SparkStreaming 。

  8. 启动 tomcat,访问埋点服务器,测试 SparkStreaming 是否能够收到数据。

  9. 启动 HBase。

相关推荐
zskj_zhyl4 小时前
智慧养老丨从依赖式养老到自主式养老:如何重构晚年生活新范式
大数据·人工智能·物联网
哲科软件5 小时前
从“电话催维修“到“手机看进度“——售后服务系统开发如何重构客户体验
大数据·智能手机·重构
zzywxc7875 小时前
AI 正在深度重构软件开发的底层逻辑和全生命周期,从技术演进、流程重构和未来趋势三个维度进行系统性分析
java·大数据·开发语言·人工智能·spring
专注API从业者5 小时前
构建淘宝评论监控系统:API 接口开发与实时数据采集教程
大数据·前端·数据库·oracle
一瓣橙子6 小时前
缺少关键的 MapReduce 框架文件
大数据·mapreduce
永洪科技13 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
weixin_3077791314 小时前
Hive集群之间迁移的Linux Shell脚本
大数据·linux·hive·bash·迁移学习
上海锝秉工控17 小时前
防爆拉线位移传感器:工业安全的“隐形守护者”
大数据·人工智能·安全
cv高级工程师YKY17 小时前
SRE - - PV、UV、VV、IP详解及区别
大数据·服务器·uv
bxlj_jcj18 小时前
深入Flink核心概念:解锁大数据流处理的奥秘
大数据·flink