大数据技术基础编程、实验和案例----大数据课程综合实验案例

一、实验目的

(1)熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用;

(2)了解大数据处理的基本流程;

(3)熟悉数据预处理方法;

(4)熟悉在不同类型数据库之间进行数据相互导入导出;

(5)熟悉使用Python,echarts进行可视化分析;

(6)熟悉使用idea编写Java程序操作HBase数据库。

二、实验平台

  1. 操作系统:Linux(建议Ubuntu16.04);
  2. Hadoop版本:2.7.1。

三、 实验步骤

(1)步骤零:实验环境准备

(2)步骤一:本地数据集上传到数据仓库Hive

(3) 步骤二:Hive数据分析

(4) 步骤三:Hive、MySQL、HBase数据互导

(5)步骤四:利用R进行数据可视化分析。

有问题的小伙伴可以在评论区提出喔~

相关推荐
小羊没烦恼!1 天前
微服务化的基石——持续集成
java·大数据·word·powerpoint·.net
一隅论数智1 天前
给AI一张“业务概念地图“:本体如何从哲学走向企业智能
大数据·人工智能·经验分享·笔记·学习·学习方法·政务
卷毛迷你猪1 天前
快速实验篇(A11)数据集成与多维分析:从单实验产出到跨实验宽表
hive·hadoop
未济1 天前
linux 配置环境变量
linux
傲世仙尊1 天前
目录即文件-Ext文件系统收尾篇
linux·c语言
尧炎科技1 天前
防潮抗变形,就选纯品梅花全桉多层板
大数据
小白男神1 天前
MySQL进阶学习四(存储过程、游标、触发器)
mysql
这个DBA有点耶1 天前
MVCC深入:Read View、版本链与快照读——InnoDB并发控制的内核
数据库·mysql·架构
程序员大阳1 天前
副队长大数据教程(5)--集群情况下虚拟机网络配置
大数据·集群·nat·网路
自由能燃气设备1 天前
商用全预混低氮冷凝锅炉免费方案vs付费方案对比+选型避坑指南
大数据·数据库·人工智能