大数据技术基础编程、实验和案例----大数据课程综合实验案例

一、实验目的

(1)熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用;

(2)了解大数据处理的基本流程;

(3)熟悉数据预处理方法;

(4)熟悉在不同类型数据库之间进行数据相互导入导出;

(5)熟悉使用Python,echarts进行可视化分析;

(6)熟悉使用idea编写Java程序操作HBase数据库。

二、实验平台

  1. 操作系统:Linux(建议Ubuntu16.04);
  2. Hadoop版本:2.7.1。

三、 实验步骤

(1)步骤零:实验环境准备

(2)步骤一:本地数据集上传到数据仓库Hive

(3) 步骤二:Hive数据分析

(4) 步骤三:Hive、MySQL、HBase数据互导

(5)步骤四:利用R进行数据可视化分析。

有问题的小伙伴可以在评论区提出喔~

相关推荐
TiDB 社区干货传送门2 小时前
挚文集团(陌陌、探探)从 MySQL 分库分表到 TiDB 实时统一架构的实践
mysql·架构·tidb
无忧.芙桃12 小时前
Linux系统编程(四):用户与权限管理
linux·运维·服务器
千寻技术帮14 小时前
10454_基于Springboot的企业购销链管理系统
spring boot·mysql·vue·毕业设计·进销存
戊本菌15 小时前
进程(三)进程优先级:谁先上 CPU
linux·c语言·硬件架构
aningx16 小时前
Arch 系用 greetd 实现开机自动进 Plasma Wayland,注销自动回桌面
linux
江无行者16 小时前
Linux 服务器 top 命令详解
linux
ServBay17 小时前
AI编程越来越强,为什么软件漏洞却是一个没少?MySQL又爆高危漏洞了
后端·mysql
黑十17 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
FungLeo17 小时前
FengCMS · PHP+MySQL 升级实录 · Web 入口收敛:Apache/Nginx 白名单挡住配置、安装 SQL、上传脚本直连
前端·mysql·php·安全加固·fengcms
Databend17 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析