基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务1:运行环境说明

任务描述

项目的运行环境是基于Hadoop的全分布式模式集群。

任务的主要内容是规划集群节点及网络使用,准备初始环境,关闭防火墙和Selinux。

任务指导

1. 基于Hadoop的全分布式模式集群,如下图所示;

2. 硬软件环境:

  • CentOS 64位
  • JDK 1.8
  • Hadoop 2.10.1
  • ZooKeeper 3.4.13
  • HBase 2.3.5
  • MySQL 5.7
  • Hive 2.3.4
  • Flume 1.9.0
  • Kafka 2.4.1

任务实现

1. 机器网络环境设置

集群包含三个节点,节点之间可以相互ping通。节点角色如下:

主机名 进程
master1 NameNode、ResourceManager、ZooKeeper、HMaster、Kafka
slave1 DataNode、NodeManager、ZooKeeper、RegionServerr
slave2 DataNode、NodeManager、ZooKeeper、RegionServer

所有节点均是CentOS 7 64位系统,防火墙均禁用,所有节点上均使用root用户。所有节点上均创建了目录/opt/app和/opt/software,并且拥有者是root用户。

关闭防火墙命令:

# systemctl stop firewalld.service

禁用防火墙开机自动启动:

# systemctl disable firewalld.service

两个命令分别运行,运行完成后查看防火墙状态:

# systemctl status firewalld.service

关闭Selinux:

# vim /etc/selinux/config
  SELINUX=disabled

查看Selinux状态

# getenforce
相关推荐
CloudJourney2 小时前
Flume集群部署(手把手部署图文详细版)
大数据·flume
陶逗逗(打怪升级版)4 小时前
Hadoop集群搭建
大数据·hadoop·分布式
oNuoyi4 小时前
定位线上同步锁仍然重复扣费的Bug定位及Redis分布式锁解决方案
java·spring boot·redis·分布式
hf2000124 小时前
实时智能全托管-云器Lakehouse重新定义多维数据分析
大数据·人工智能·数据分析
科技前言5 小时前
抖音本地生活服务商入驻要求中暗含哪些信息?入局要点都在里面了!
大数据·创业
小的~~5 小时前
大数据面试题之Spark(6)
大数据·分布式·spark
希艾席蒂恩5 小时前
零成本、高效率:免费可视化工具的魅力所在
大数据·信息可视化·数据挖掘·数据分析·数据可视化
天地风雷水火山泽6 小时前
二百四十二、Hive——Hive的动态分区表出现day=__HIVE_DEFAULT_PARTITION__分区
数据仓库·hive·hadoop
小的~~6 小时前
大数据面试题之Spark(3)
大数据·分布式·spark
硅纪元6 小时前
硅纪元视角 | AI纳米机器人突破癌症治疗,精准打击肿瘤细胞
大数据·人工智能·机器人