基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务1:运行环境说明

任务描述

项目的运行环境是基于Hadoop的全分布式模式集群。

任务的主要内容是规划集群节点及网络使用,准备初始环境,关闭防火墙和Selinux。

任务指导

1. 基于Hadoop的全分布式模式集群,如下图所示;

2. 硬软件环境:

  • CentOS 64位
  • JDK 1.8
  • Hadoop 2.10.1
  • ZooKeeper 3.4.13
  • HBase 2.3.5
  • MySQL 5.7
  • Hive 2.3.4
  • Flume 1.9.0
  • Kafka 2.4.1

任务实现

1. 机器网络环境设置

集群包含三个节点,节点之间可以相互ping通。节点角色如下:

主机名 进程
master1 NameNode、ResourceManager、ZooKeeper、HMaster、Kafka
slave1 DataNode、NodeManager、ZooKeeper、RegionServerr
slave2 DataNode、NodeManager、ZooKeeper、RegionServer

所有节点均是CentOS 7 64位系统,防火墙均禁用,所有节点上均使用root用户。所有节点上均创建了目录/opt/app和/opt/software,并且拥有者是root用户。

关闭防火墙命令:

复制代码
# systemctl stop firewalld.service

禁用防火墙开机自动启动:

复制代码
# systemctl disable firewalld.service

两个命令分别运行,运行完成后查看防火墙状态:

复制代码
# systemctl status firewalld.service

关闭Selinux:

复制代码
# vim /etc/selinux/config
  SELINUX=disabled

查看Selinux状态

复制代码
# getenforce
相关推荐
呆呆小金人5 分钟前
SQL键类型详解:超键到外键全解析
大数据·数据库·数据仓库·sql·数据库开发·etl·etl工程师
StarRocks_labs20 分钟前
StarRocks 4.0:基于 Apache Iceberg 的 Catalog 中心化访问控制
大数据·apache
小马哥编程28 分钟前
【软考架构】案例分析-分布式锁
分布式·架构
necessary6531 小时前
从工行“余额归零”事件看CAP定理:当金融系统在一致性与可用性之间做出选择
分布式·金融·wpf·可用性测试
维尔切1 小时前
Kafka 概述与安装部署整理
运维·分布式·kafka
梦子yumeko1 小时前
第六章langchain4j之Tools和prompt
大数据·prompt
AcrelGHP1 小时前
光储充微电网能量管理系统:构建绿色、高效、安全的能源未来
大数据·运维·人工智能
wudl55662 小时前
Flink RocksDB State Backend 详解
大数据·flink
Hello.Reader2 小时前
用一份 YAML 编排实时数据集成Flink CDC 工程实践
大数据·flink
不二人生2 小时前
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
大数据·flink·cdc