大数据技术基础编程、实验和案例----大数据课程综合实验案例

一、实验目的

(1)熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用;

(2)了解大数据处理的基本流程;

(3)熟悉数据预处理方法;

(4)熟悉在不同类型数据库之间进行数据相互导入导出;

(5)熟悉使用Python,echarts进行可视化分析;

(6)熟悉使用idea编写Java程序操作HBase数据库。

二、实验平台

  1. 操作系统:Linux(建议Ubuntu16.04);
  2. Hadoop版本:2.7.1。

三、 实验步骤

(1)步骤零:实验环境准备

(2)步骤一:本地数据集上传到数据仓库Hive

(3) 步骤二:Hive数据分析

(4) 步骤三:Hive、MySQL、HBase数据互导

(5)步骤四:利用R进行数据可视化分析。

有问题的小伙伴可以在评论区提出喔~

相关推荐
AOwhisky2 小时前
Linux(CentOS)系统管理入门笔记(第二十一期)——防火墙管理(Firewalld)——zone、服务端口、富规则与端口转发
linux·运维·笔记·安全·centos·防火墙
lsh曙光8 小时前
延时at指令和定时cron指令
linux·服务器·网络
圆山猫8 小时前
[Virtualization](四):Linux KVM/RISC-V 的 vCPU 运行路径
java·linux·risc-v
似的8359 小时前
一步一步学习使用FireMonkey动画() 使用TAnimator类创建动画
linux·学习·nginx
2601_953720829 小时前
【计算机毕业设计】基于Vue框架+AI大模型身心健康日志系统
课程设计
boppu9 小时前
布草特殊污渍去渍剂的种类及作用
大数据·人工智能
Achou.Wang10 小时前
深入理解go语言-第5章 并发编程——Go的灵魂
大数据·算法·golang
我不管我就要叫小猪10 小时前
嵌入式Linux----网络通信
linux·运维·服务器
神龙天舞200110 小时前
MySQL 备库为什么会延迟好几个小时
android·数据库·mysql
泡沫冰@11 小时前
ECS 的介绍和使用
linux·服务器·网络