基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务1:运行环境说明

任务描述

项目的运行环境是基于Hadoop的全分布式模式集群。

任务的主要内容是规划集群节点及网络使用,准备初始环境,关闭防火墙和Selinux。

任务指导

1. 基于Hadoop的全分布式模式集群,如下图所示;

2. 硬软件环境:

  • CentOS 64位
  • JDK 1.8
  • Hadoop 2.10.1
  • ZooKeeper 3.4.13
  • HBase 2.3.5
  • MySQL 5.7
  • Hive 2.3.4
  • Flume 1.9.0
  • Kafka 2.4.1

任务实现

1. 机器网络环境设置

集群包含三个节点,节点之间可以相互ping通。节点角色如下:

主机名 进程
master1 NameNode、ResourceManager、ZooKeeper、HMaster、Kafka
slave1 DataNode、NodeManager、ZooKeeper、RegionServerr
slave2 DataNode、NodeManager、ZooKeeper、RegionServer

所有节点均是CentOS 7 64位系统,防火墙均禁用,所有节点上均使用root用户。所有节点上均创建了目录/opt/app和/opt/software,并且拥有者是root用户。

关闭防火墙命令:

复制代码
# systemctl stop firewalld.service

禁用防火墙开机自动启动:

复制代码
# systemctl disable firewalld.service

两个命令分别运行,运行完成后查看防火墙状态:

复制代码
# systemctl status firewalld.service

关闭Selinux:

复制代码
# vim /etc/selinux/config
  SELINUX=disabled

查看Selinux状态

复制代码
# getenforce
相关推荐
暴躁小师兄数据学院1 小时前
【AI大数据工程师特训笔记】第14讲:Linux操作系统与shell脚本
大数据·人工智能·笔记
2601_959986242 小时前
M4Markets:把工具可用性做到位——逻辑梳理与提示整理
大数据·人工智能
薛定猫AI3 小时前
Codex 与 Claude Code 安装配置完全指南
大数据·人工智能·架构
SelectDB3 小时前
从 Machine-Readable 到 Agent-Ready:面向智能体的数据库接口演进
大数据·数据库·agent
前沿AI3 小时前
AI营销服一体化方案亮相2026中国汽车经销商大会,助力汽车销售全链路提效
大数据·人工智能·汽车
KaMeidebaby4 小时前
卡梅德生物技术快报|peg 修饰调控 MXene/WS2 异质结,氨气传感器制备与机理研究
大数据·前端·人工智能·架构·spark·新浪微博
ydyd202604214 小时前
设备管理应用推荐2026深度测评!
大数据·人工智能·机器学习
志栋智能4 小时前
超自动化巡检:降低运维总成本(TCO)的有效路径
大数据·运维·网络·人工智能·自动化
LONGZETECH4 小时前
软硬协同+故障注入:无人机仿真维修与操控仿真底层算法逻辑拆解
大数据·c语言·算法·3d·unity·无人机
码农小白AI4 小时前
AI报告审核与IACheck:自动化检测全面铺开后,为什么报告审核反而成了新的效率瓶颈?
大数据·人工智能·自动化