基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务1:运行环境说明

任务描述

项目的运行环境是基于Hadoop的全分布式模式集群。

任务的主要内容是规划集群节点及网络使用,准备初始环境,关闭防火墙和Selinux。

任务指导

1. 基于Hadoop的全分布式模式集群,如下图所示;

2. 硬软件环境:

  • CentOS 64位
  • JDK 1.8
  • Hadoop 2.10.1
  • ZooKeeper 3.4.13
  • HBase 2.3.5
  • MySQL 5.7
  • Hive 2.3.4
  • Flume 1.9.0
  • Kafka 2.4.1

任务实现

1. 机器网络环境设置

集群包含三个节点,节点之间可以相互ping通。节点角色如下:

主机名 进程
master1 NameNode、ResourceManager、ZooKeeper、HMaster、Kafka
slave1 DataNode、NodeManager、ZooKeeper、RegionServerr
slave2 DataNode、NodeManager、ZooKeeper、RegionServer

所有节点均是CentOS 7 64位系统,防火墙均禁用,所有节点上均使用root用户。所有节点上均创建了目录/opt/app和/opt/software,并且拥有者是root用户。

关闭防火墙命令:

复制代码
# systemctl stop firewalld.service

禁用防火墙开机自动启动:

复制代码
# systemctl disable firewalld.service

两个命令分别运行,运行完成后查看防火墙状态:

复制代码
# systemctl status firewalld.service

关闭Selinux:

复制代码
# vim /etc/selinux/config
  SELINUX=disabled

查看Selinux状态

复制代码
# getenforce
相关推荐
赛博守夜人2 小时前
跨境业务与出海合规之八:面向海外合规监管突击搜查(Dawn Raid)的信息安全应急响应(IR)与合规取证
大数据·数据库
你就是答案 -1482 小时前
2026 企业 AI 办公工具选型指南:匹配业务场景才是核心
大数据·人工智能
成长之路5142 小时前
【数据集】全国省市县三级逐年平均气温数据(excel+shp)1901-2024年
大数据
智圣新创013 小时前
智圣新创智慧学生社区线上服务平台 高校一站式育人场景数字化升级全域建设指南
大数据·人工智能
成旭先生4 小时前
物流燃油成本测算 API:按线路查各省市当日柴油汽油指导价
大数据·api接口·物流成本·油价查询·燃油测算·发改委价格
goujunwe4 小时前
电商品牌 GEO:让 AI 在消费者对比产品时,采信你的品牌信息
大数据·人工智能
IT研究室5 小时前
最新大数据毕业设计选题推荐-基于大数据的人工智能社交媒体情绪分析与可视化的设计与实现-大数据-Spark-Hadoop-Bigdata
大数据·人工智能·课程设计
Data-Miner5 小时前
离线AI制表:模型适配与脚本固化实操
大数据·数据库·人工智能·excel
梦想画家5 小时前
SQLMesh 告警实战:只用 YAML 配置和 SQL 模型,搭一套数据管道告警
大数据·数据开发·sqlmesh
段一凡-华北理工大学5 小时前
高炉炼铁机器视觉与智能识别十八讲~系列文章05:炉顶料面识别:装料分布判读与布料制度优化
大数据·人工智能·机器视觉·工业智能化·高炉炼铁智能化·高炉炉顶料面识别