大数据技术基础编程、实验和案例----大数据课程综合实验案例

一、实验目的

(1)熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用;

(2)了解大数据处理的基本流程;

(3)熟悉数据预处理方法;

(4)熟悉在不同类型数据库之间进行数据相互导入导出;

(5)熟悉使用Python,echarts进行可视化分析;

(6)熟悉使用idea编写Java程序操作HBase数据库。

二、实验平台

  1. 操作系统:Linux(建议Ubuntu16.04);
  2. Hadoop版本:2.7.1。

三、 实验步骤

(1)步骤零:实验环境准备

(2)步骤一:本地数据集上传到数据仓库Hive

(3) 步骤二:Hive数据分析

(4) 步骤三:Hive、MySQL、HBase数据互导

(5)步骤四:利用R进行数据可视化分析。

有问题的小伙伴可以在评论区提出喔~

相关推荐
TGB-Earnest1 分钟前
【py脚本+logstash+es实现自动化检测工具】
大数据·elasticsearch·自动化
冬天vs不冷2 分钟前
Linux用户与权限管理详解
linux·运维·chrome
凯子坚持 c1 小时前
深入Linux权限体系:守护系统安全的第一道防线
linux·运维·系统安全
✿ ༺ ོIT技术༻1 小时前
C++11:新特性&右值引用&移动语义
linux·数据结构·c++
大圣数据星球2 小时前
Fluss 写入数据湖实战
大数据·设计模式·flink
suweijie7682 小时前
SpringCloudAlibaba | Sentinel从基础到进阶
java·大数据·sentinel
watermelonoops4 小时前
Deepin和Windows传文件(Xftp,WinSCP)
linux·ssh·deepin·winscp·xftp
疯狂飙车的蜗牛5 小时前
从零玩转CanMV-K230(4)-小核Linux驱动开发参考
linux·运维·驱动开发
远游客07137 小时前
centos stream 8下载安装遇到的坑
linux·服务器·centos
马甲是掉不了一点的<.<7 小时前
本地电脑使用命令行上传文件至远程服务器
linux·scp·cmd·远程文件上传