数据仓库(Data Warehouse)建设的流程[web业务交互之外部分]

1.下载安装VMware

  1. CentOS创建虚拟机

3.选择NAT模式进行网络配置

4.远程终端工具进行安装,Xshell和Xftp

5.虚拟机环境准备

6.克隆虚拟机

7.在第二台虚拟机安装jdk

8.在第二台虚拟机安装Hadoop

9.使用完全分布式运行模式

10.编写集群分发脚本 xsync

11.SSH 无密登录配置

12.集群配置

13.配置历史服务器

14.配置日志的聚集

15.Zookeeper 集群操作

16.Hadoop 集群离线安装 mysql

17.Hadoop 集群安装 hive

18.Sqoop 安装与配置

19.将mysql的数据导入hive当中并创建 ODS层

20.DWD数据采集模块

21.数仓搭建-DWS层

22.指标选取

23.创建ADS层并创建临时表,方便后续导入到mysql当中

24.mysql建表并导入数据

26.离线可视化

相关推荐
晚枫歌F43 分钟前
Dpdk介绍
linux·服务器
TH_11 小时前
35、AI自动化技术与职业变革探讨
运维·人工智能·自动化
风送雨2 小时前
FastMCP 2.0 服务端开发教学文档(下)
服务器·前端·网络·人工智能·python·ai
model20053 小时前
alibaba linux3 系统盘网站迁移数据盘
java·服务器·前端
yuhaiqun19893 小时前
学服务器训练AI模型:5步路径助力高效入门
运维·服务器·人工智能·笔记·机器学习·ai
huaweichenai3 小时前
docker部署kkFileView实现文件预览功能
运维·docker·容器
以太浮标3 小时前
华为eNSP模拟器综合实验之-BFD联动配置解析
运维·网络·华为·信息与通信
阿杰 AJie3 小时前
主流传输 /通信协议的【使用场景 + 详细使用说明】大全
服务器·tcp/ip
工程师老罗4 小时前
龙芯2k0300 PMON取消Linux自启动
linux·运维·服务器
千百元4 小时前
centos如何删除恶心定时任务
linux·运维·centos