大数据课程L7——网站流量项目的操作步骤

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 了解网站流量项目的Spark与HBase整合;

⚪ 掌握网站流量项目的实时流业务处理;

一、 Spark 与 HBase 整合基础

1. 实现步骤:

  1. 启动 IDEA。

  2. 创建 Maven 工程,骨架选择 quickstart 。

  3. IDEA 安装 Scala 插件。

file ---> settings ---> plugins

搜素 Scala 插件,安装即可,安装完成后重启。

  1. 为 fluxStreamingServer 工程添加 Scala sdk 。

工程上右键 ---> add framework suppor

  1. 创建一个 Scala 目录,使其成为 source root 。

  2. 引入工程 pom,详见笔记。

  3. 学习 Spark 与 HBase 整合基础。

  4. 确定一下 Windows hosts 文件主机名与 ip 的映射是否正确。

  5. 启动服务器。

  6. 启动三台 zookeeper 集群。

  7. 启动 Hadoop 。

  8. 启动 HBase,进入01服务器 HBase 的 bin 目录, 执行如下指令:

sh start-hbase.sh

  1. 执行如下指令进入 hbase客户端,建表。

sh hbase shell

二、实时流业务处理

1. 实现步骤:

  1. 启动三台服务器。

  2. 启动 zookeeper 集群。

  3. 启动 Hadoop 。

  4. 启动 Kafka 集群 。

  5. 启动 flume 。

  6. 整合 SparkStreaming 与 Kafka,完成代码编写。

  7. 启动 SparkStreaming 。

  8. 启动 tomcat,访问埋点服务器,测试 SparkStreaming 是否能够收到数据。

  9. 启动 HBase。

相关推荐
微盛AI企微管家2 小时前
企业微信的AI功能更新:智能总结、智能搜索、智能机器人、智能表格,更智能的一体化办公解决方案
大数据·人工智能·数据挖掘
金融Tech趋势派2 小时前
企业微信私域运营代运营:微盛AI・企微管家以四级分层服务助力企业私域落地与增长
大数据·人工智能·企业微信
AI企微观察2 小时前
企业微信如何正确营销获客?精准定位与场景触达的实践框架
大数据·人工智能
金融Tech趋势派3 小时前
企业微信私有化服务商怎么选?从数据安全与定制化需求看适配方向
大数据·人工智能·金融·企业微信·零售
艾莉丝努力练剑3 小时前
【Linux权限 (二)】Linux权限机制深度解析:umask如何决定默认权限与粘滞位的妙用
大数据·linux·服务器·c++·ubuntu·centos·1024程序员节
武子康3 小时前
大数据-140 ClickHouse CollapsingMergeTree详解 外部数据源最小闭环HDFS/MySQL/Kafka
大数据·后端·nosql
文火冰糖的硅基工坊4 小时前
[人工智能-大模型-107]:模型层 - 神经元的功能角色:特征提取与相似度量化
大数据·人工智能
2501_938773994 小时前
《Hadoop 与 Spark 融合路径:基于 Spark on YARN 的部署与调优技巧》
大数据·hadoop·spark
河南博为智能科技有限公司4 小时前
十六串口服务器-解决多设备联网难题
大数据·运维·服务器·人工智能·物联网·边缘计算
2501_938791834 小时前
从原理到实操:彻底解决 Git .gitignore 文件不生效问题
大数据·git·elasticsearch