基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务1:运行环境说明

任务描述

项目的运行环境是基于Hadoop的全分布式模式集群。

任务的主要内容是规划集群节点及网络使用,准备初始环境,关闭防火墙和Selinux。

任务指导

1. 基于Hadoop的全分布式模式集群,如下图所示;

2. 硬软件环境:

  • CentOS 64位
  • JDK 1.8
  • Hadoop 2.10.1
  • ZooKeeper 3.4.13
  • HBase 2.3.5
  • MySQL 5.7
  • Hive 2.3.4
  • Flume 1.9.0
  • Kafka 2.4.1

任务实现

1. 机器网络环境设置

集群包含三个节点,节点之间可以相互ping通。节点角色如下:

主机名 进程
master1 NameNode、ResourceManager、ZooKeeper、HMaster、Kafka
slave1 DataNode、NodeManager、ZooKeeper、RegionServerr
slave2 DataNode、NodeManager、ZooKeeper、RegionServer

所有节点均是CentOS 7 64位系统,防火墙均禁用,所有节点上均使用root用户。所有节点上均创建了目录/opt/app和/opt/software,并且拥有者是root用户。

关闭防火墙命令:

复制代码
# systemctl stop firewalld.service

禁用防火墙开机自动启动:

复制代码
# systemctl disable firewalld.service

两个命令分别运行,运行完成后查看防火墙状态:

复制代码
# systemctl status firewalld.service

关闭Selinux:

复制代码
# vim /etc/selinux/config
  SELINUX=disabled

查看Selinux状态

复制代码
# getenforce
相关推荐
无忧智库几秒前
数据安全与数据合规体系建设规划:从“合规应付”到“数据可控、可用、可审计”的落地指南(PPT)
大数据·人工智能·安全
玩美数据6 分钟前
2026全球出海市场研究TOP5:深度行业洞察与高效供应商网络塑造市场竞争力
大数据·人工智能
qq_543447828 分钟前
等保合规服务商哪家好?
大数据
2501_9481069112 分钟前
计算机毕业设计之jsp物业管理系统
java·大数据·开发语言·汽车·课程设计
中科岩创14 分钟前
全栈本地化专属部署架构,服务智慧矿山信息化安全建设!
大数据·人工智能·物联网
TDengine (老段)21 分钟前
TDengine 索引使用指南 — 何时建、怎么建、怎么用
java·大数据·数据库·物联网·时序数据库·tdengine·涛思数据
TDengine (老段)37 分钟前
TDengine DDL 完整参考 — Database/STable/Table/Column/Tag
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
石像鬼₧魂石1 小时前
【Y2Ksoft】贵阳陈桥饭店ERP管理系统
大数据·前端·物联网·html·数据库架构
栋***t1 小时前
从“工具”到“基建”,麦塔在线考试系统经历的时代变局与定位逻辑
java·大数据·数据库·开源软件·无纸化
csdn2015_1 小时前
kafka如何确保消息不丢失
数据库·分布式·kafka