基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务1:运行环境说明

任务描述

项目的运行环境是基于Hadoop的全分布式模式集群。

任务的主要内容是规划集群节点及网络使用,准备初始环境,关闭防火墙和Selinux。

任务指导

1. 基于Hadoop的全分布式模式集群,如下图所示;

2. 硬软件环境:

  • CentOS 64位
  • JDK 1.8
  • Hadoop 2.10.1
  • ZooKeeper 3.4.13
  • HBase 2.3.5
  • MySQL 5.7
  • Hive 2.3.4
  • Flume 1.9.0
  • Kafka 2.4.1

任务实现

1. 机器网络环境设置

集群包含三个节点,节点之间可以相互ping通。节点角色如下:

主机名 进程
master1 NameNode、ResourceManager、ZooKeeper、HMaster、Kafka
slave1 DataNode、NodeManager、ZooKeeper、RegionServerr
slave2 DataNode、NodeManager、ZooKeeper、RegionServer

所有节点均是CentOS 7 64位系统,防火墙均禁用,所有节点上均使用root用户。所有节点上均创建了目录/opt/app和/opt/software,并且拥有者是root用户。

关闭防火墙命令:

# systemctl stop firewalld.service

禁用防火墙开机自动启动:

# systemctl disable firewalld.service

两个命令分别运行,运行完成后查看防火墙状态:

# systemctl status firewalld.service

关闭Selinux:

# vim /etc/selinux/config
  SELINUX=disabled

查看Selinux状态

# getenforce
相关推荐
python资深爱好者11 分钟前
什么容错性以及Spark Streaming如何保证容错性
大数据·分布式·spark
HeartRaindj1 小时前
【中间件开发】kafka使用场景与设计原理
分布式·中间件·kafka
B站计算机毕业设计超人1 小时前
计算机毕业设计hadoop+spark旅游景点推荐 旅游推荐系统 旅游可视化 旅游爬虫 景区客流量预测 旅游大数据 大数据毕业设计
大数据·hadoop·爬虫·深度学习·机器学习·数据可视化·推荐算法
qiquandongkh2 小时前
2025年股指期货和股指期权合约交割的通知!
大数据·金融·区块链
明达技术3 小时前
探索分布式 IO 模块网络适配器
分布式
Ray.19983 小时前
优化 Flink 消费 Kafka 数据的速度:实战指南
大数据·flink·kafka
D愿你归来仍是少年3 小时前
Python解析 Flink Job 依赖的checkpoint 路径
大数据·python·flink
说私域4 小时前
利用开源AI智能名片2+1链动模式S2B2C商城小程序构建企业私域流量池的策略与实践
大数据·人工智能·小程序·开源
爬山算法4 小时前
Zookeeper(58)如何在Zookeeper中实现分布式锁?
分布式·zookeeper·云原生
yinbp4 小时前
bboss v7.3.5来袭!新增异地灾备机制和Kerberos认证机制,助力企业数据安全
大数据·elasticsearch·微服务·etl·restclient·bboss