大数据课程L7——网站流量项目的操作步骤

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 了解网站流量项目的Spark与HBase整合;

⚪ 掌握网站流量项目的实时流业务处理;

一、 Spark 与 HBase 整合基础

1. 实现步骤:

  1. 启动 IDEA。

  2. 创建 Maven 工程,骨架选择 quickstart 。

  3. IDEA 安装 Scala 插件。

file ---> settings ---> plugins

搜素 Scala 插件,安装即可,安装完成后重启。

  1. 为 fluxStreamingServer 工程添加 Scala sdk 。

工程上右键 ---> add framework suppor

  1. 创建一个 Scala 目录,使其成为 source root 。

  2. 引入工程 pom,详见笔记。

  3. 学习 Spark 与 HBase 整合基础。

  4. 确定一下 Windows hosts 文件主机名与 ip 的映射是否正确。

  5. 启动服务器。

  6. 启动三台 zookeeper 集群。

  7. 启动 Hadoop 。

  8. 启动 HBase,进入01服务器 HBase 的 bin 目录, 执行如下指令:

sh start-hbase.sh

  1. 执行如下指令进入 hbase客户端,建表。

sh hbase shell

二、实时流业务处理

1. 实现步骤:

  1. 启动三台服务器。

  2. 启动 zookeeper 集群。

  3. 启动 Hadoop 。

  4. 启动 Kafka 集群 。

  5. 启动 flume 。

  6. 整合 SparkStreaming 与 Kafka,完成代码编写。

  7. 启动 SparkStreaming 。

  8. 启动 tomcat,访问埋点服务器,测试 SparkStreaming 是否能够收到数据。

  9. 启动 HBase。

相关推荐
阿里云大数据AI技术14 小时前
StarRocks 助力数禾科技构建实时数仓:从数据孤岛到智能决策
大数据
Lx35219 小时前
Hadoop数据处理优化:减少Shuffle阶段的性能损耗
大数据·hadoop
武子康1 天前
大数据-99 Spark Streaming 数据源全面总结:原理、应用 文件流、Socket、RDD队列流
大数据·后端·spark
阿里云大数据AI技术2 天前
大数据公有云市场第一,阿里云占比47%!
大数据
Lx3522 天前
Hadoop容错机制深度解析:保障作业稳定运行
大数据·hadoop
T06205142 天前
工具变量-5G试点城市DID数据(2014-2025年
大数据
向往鹰的翱翔2 天前
BKY莱德因:5大黑科技逆转时光
大数据·人工智能·科技·生活·健康医疗
鸿乃江边鸟2 天前
向量化和列式存储
大数据·sql·向量化
IT毕设梦工厂2 天前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
java水泥工2 天前
基于Echarts+HTML5可视化数据大屏展示-白茶大数据溯源平台V2
大数据·echarts·html5