大数据课程L7——网站流量项目的操作步骤

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 了解网站流量项目的Spark与HBase整合;

⚪ 掌握网站流量项目的实时流业务处理;

一、 Spark 与 HBase 整合基础

1. 实现步骤:

  1. 启动 IDEA。

  2. 创建 Maven 工程,骨架选择 quickstart 。

  3. IDEA 安装 Scala 插件。

file ---> settings ---> plugins

搜素 Scala 插件,安装即可,安装完成后重启。

  1. 为 fluxStreamingServer 工程添加 Scala sdk 。

工程上右键 ---> add framework suppor

  1. 创建一个 Scala 目录,使其成为 source root 。

  2. 引入工程 pom,详见笔记。

  3. 学习 Spark 与 HBase 整合基础。

  4. 确定一下 Windows hosts 文件主机名与 ip 的映射是否正确。

  5. 启动服务器。

  6. 启动三台 zookeeper 集群。

  7. 启动 Hadoop 。

  8. 启动 HBase,进入01服务器 HBase 的 bin 目录, 执行如下指令:

sh start-hbase.sh

  1. 执行如下指令进入 hbase客户端,建表。

sh hbase shell

二、实时流业务处理

1. 实现步骤:

  1. 启动三台服务器。

  2. 启动 zookeeper 集群。

  3. 启动 Hadoop 。

  4. 启动 Kafka 集群 。

  5. 启动 flume 。

  6. 整合 SparkStreaming 与 Kafka,完成代码编写。

  7. 启动 SparkStreaming 。

  8. 启动 tomcat,访问埋点服务器,测试 SparkStreaming 是否能够收到数据。

  9. 启动 HBase。

相关推荐
Jabes.yang8 小时前
Java面试场景:从Spring Web到Kafka的音视频应用挑战
大数据·spring boot·kafka·spring security·java面试·spring webflux
Hello.Reader8 小时前
Flink 第三方序列化Kryo 注册、Protobuf/Thrift 接入与坑位避雷
大数据·flink
斯普信专业组9 小时前
使用Reindex迁移Elasticsearch集群数据详解(下)
大数据·elasticsearch
阿里云大数据AI技术10 小时前
云栖实录|MaxCompute全新升级:AI时代的原生数据仓库
大数据·数据库·云原生
QYResearch11 小时前
导航浮标灯市场现状及前景分析
大数据
QYResearch12 小时前
2025年全球半导体用电子湿化学品行业总体规模、主要企业国内外市场占有率及排名
大数据
搞科研的小刘选手12 小时前
【通信&网络安全主题】第六届计算机通信与网络安全国际学术会议(CCNS 2025)
大数据·人工智能·网络安全·vr·通信工程·网络技术·计算机工程
阿里云大数据AI技术15 小时前
云栖实录 | 通义实验室基于MaxCompute进行大模型数据管理及处理
大数据·人工智能
yumgpkpm16 小时前
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境多个mysql数据库汇聚的操作指南
大数据·hive·hadoop·zookeeper·big data·cloudera
CryptoPP17 小时前
获取越南股票市场列表(包含VN30成分股)实战指南
大数据·服务器·数据库·区块链