搭建大数据学习的平台

一、基础环境准备

1. 硬件配置
  • 物理机:建议 16GB 内存以上,500GB 硬盘,多核 CPU
  • 虚拟机:至少 3 台(1 主 2 从),每台 4GB 内存,50GB 硬盘
2. 操作系统
  • Ubuntu 20.04 LTS 或 CentOS 7/8
3. 网络配置
  • 静态 IP 分配(例如:192.168.1.101~103)

  • 主机名映射(/etc/hosts):

    plaintext

    复制代码
    192.168.1.101 hadoop-master
    192.168.1.102 hadoop-slave1
    192.168.1.103 hadoop-slave2

二、核心组件安装

1. Hadoop 分布式系统
  • 安装步骤参考之前的回答
  • 配置高可用(HA)模式(可选)
2. Hive 数据仓库

bash

复制代码
# 下载和解压
wget https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
tar -xzf apache-hive-3.1.3-bin.tar.gz -C /opt/
mv /opt/apache-hive-3.1.3-bin /opt/hive

# 配置环境变量
echo 'export HIVE_HOME=/opt/hive' >> ~/.bashrc
echo 'export PATH=$PATH:$HIVE_HOME/bin' >> ~/.bashrc
source ~/.bashrc
3. Spark 计算引擎

bash

复制代码
# 下载和解压
wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz
tar -xzf spark-3.3.2-bin-hadoop3.tgz -C /opt/
mv /opt/spark-3.3.2-bin-hadoop3 /opt/spark

# 配置环境变量
echo 'export SPARK_HOME=/opt/spark' >> ~/.bashrc
echo 'export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin' >> ~/.bashrc
source ~/.bashrc
4. HBase 分布式数据库

bash

复制代码
# 下载和解压
wget https://downloads.apache.org/hbase/2.5.7/hbase-2.5.7-bin.tar.gz
tar -xzf hbase-2.5.7-bin.tar.gz -C /opt/
mv /opt/hbase-2.5.7 /opt/hbase

# 配置环境变量
echo 'export HBASE_HOME=/opt/hbase' >> ~/.bashrc
echo 'export PATH=$PATH:$HBASE_HOME/bin' >> ~/.bashrc
source ~/.bashrc

三、服务集成与配置

1. Hive 与 Hadoop 集成
  • 修改 $HIVE_HOME/conf/hive-site.xml

    xml

    复制代码
    <configuration>
        <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>/user/hive/warehouse</value>
        </property>
        <property>
            <name>hive.metastore.uris</name>
            <value>thrift://hadoop-master:9083</value>
        </property>
    </configuration>
2. Spark 与 Hadoop 集成
  • 修改 $SPARK_HOME/conf/spark-env.sh

    bash

    复制代码
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export SPARK_MASTER_HOST=hadoop-master
    export SPARK_WORKER_MEMORY=2g
3. HBase 与 Hadoop 集成
  • 修改 $HBASE_HOME/conf/hbase-site.xml

    xml

    复制代码
    <configuration>
        <property>
            <name>hbase.rootdir</name>
            <value>hdfs://hadoop-master:9000/hbase</value>
        </property>
        <property>
            <name>hbase.cluster.distributed</name>
            <value>true</value>
        </property>
    </configuration>

四、服务启动与验证

1. 启动顺序

bash

复制代码
# 启动 Hadoop
start-dfs.sh
start-yarn.sh

# 启动 Hive Metastore
hive --service metastore &

# 启动 Spark
start-master.sh
start-workers.sh

# 启动 HBase
start-hbase.sh
2. 验证服务

五、可视化工具安装

1. Zeppelin 数据探索

bash

复制代码
# 下载和解压
wget https://downloads.apache.org/zeppelin/zeppelin-0.10.1/zeppelin-0.10.1-bin-all.tgz
tar -xzf zeppelin-0.10.1-bin-all.tgz -C /opt/
mv /opt/zeppelin-0.10.1-bin-all /opt/zeppelin

# 启动 Zeppelin
/opt/zeppelin/bin/zeppelin-daemon.sh start

访问:http://hadoop-master:8081

2. Superset 数据可视化

bash

复制代码
# 安装依赖
sudo apt install python3-pip python3-venv

# 创建虚拟环境
python3 -m venv superset
source superset/bin/activate

# 安装 Superset
pip install apache-superset
superset db upgrade

# 创建管理员用户
superset fab create-admin

# 初始化
superset init

# 启动 Superset
superset run -p 8088 --with-threads --reload --debugger

访问:http://hadoop-master:8088

相关推荐
Edingbrugh.南空19 分钟前
Flink Postgres CDC 环境配置与验证
大数据·flink
isNotNullX1 小时前
什么是数据分析?常见方法全解析
大数据·数据库·数据仓库·人工智能·数据分析
小袁拒绝摆烂1 小时前
ElasticSearch快速入门-1
大数据·elasticsearch·搜索引擎
菜菜why1 小时前
MSPM0G3507学习笔记(一) 重置版:适配逐飞库的ti板环境配置
笔记·学习·电赛·嵌入式软件·mspm0
夜阑卧听风吹雨,铁马冰河入梦来1 小时前
Spring AI 阿里巴巴学习
人工智能·学习·spring
点控云2 小时前
智能私域运营中枢:从客户视角看 SCRM 的体验革新与价值重构
大数据·人工智能·科技·重构·外呼系统·呼叫中心
板栗焖小鸡2 小时前
STM32-PWM驱动无源蜂鸣器
stm32·学习
Code季风2 小时前
Gin 中间件详解与实践
学习·中间件·golang·go·gin
zkmall3 小时前
企业电商解决方案哪家好?ZKmall模块商城全渠道支持 + 定制化服务更省心
大数据·运维·重构·架构·开源
随缘而动,随遇而安7 小时前
第八十八篇 大数据中的递归算法:从俄罗斯套娃到分布式计算的奇妙之旅
大数据·数据结构·算法