大数据-hadoop

1.hadoop介绍

1.1 起源

1.2 版本

1.3生产环境版本选择

Hadoop三大发行版本:Apache、Cloudera、Hortonworks

Apache版本最原始的版本

Cloudera在大型互联网企业中用的较多

Hortonworks文档较好

1.4架构

hadoop由三个模块组成

分布式存储HDFS

分布式计算MapReduce

资源调度引擎Yarn

分布式文件存储系统HDFS

NameNode主节点主要负责管理集群,保存元数据信息

SecondaryNameNode辅助NameNode做元数据信息备份

DataNode从节点存储数据
资源管理调度系统yarn

ResourceManage主节点主要负责资源调度分配

NodeManager从节点

2.hadoop安装

2.1.关闭防火墙、selinux

bash 复制代码
### 1.关闭防火墙

systemctl stop firewalld
systemctl enable firewalld

###  2.关闭selinux

vi /etc/sysconfig/selinux
SELINUX=disabled

2.2配置hostname

2.3.机器时钟同步

1.通过网络进行时钟同步

安装ntpdate

yum -y install ntpdate

阿里云时钟同步服务器

ntpdate ntp4.aliyun.com

定时同步

crontab -e

*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com

相关推荐
菜鸡儿齐10 小时前
spark组件-spark core(批处理)-rdd创建
大数据·分布式·spark
weixin_1772972206912 小时前
家政小程序系统开发:打造便捷高效的家政服务平台
大数据·小程序·家政
galaxylove13 小时前
Gartner发布数据安全态势管理市场指南:将功能扩展到AI的特定数据安全保护是DSPM发展方向
大数据·人工智能
报错小能手14 小时前
linux学习笔记(43)网络编程——HTTPS (补充)
linux·网络·学习
A Runner for leave14 小时前
网络与通信安全课程复习汇总3——身份认证
网络·密码学
EasyGBS16 小时前
EasyGBS如何通过流媒体技术提升安防监控效率?
网络·音视频
岛屿旅人16 小时前
智库报告美国如何打网络战
网络·人工智能·安全·web安全
扁豆的主人19 小时前
Elasticsearch
大数据·elasticsearch·jenkins
扁豆的主人20 小时前
http 状态码
网络·网络协议·http
想ai抽20 小时前
Flink重启策略有啥用
大数据·flink