关于大数据学习之hadoop的安装

前部安装提示:

建议先将电脑中基础内容进行清洁,维持基础的*++极简主义,++* 通过这样的方式可以快速帮助我们完成软件的安装,同时也是符合计算机的基础网络结构,

什么是hadoop?

处理大数据的分布式存储和计算框架是hadoop,hadoop有三大核心组件:hdfs(++分布式文件管理系统++ ),mapreduce(++分布式运算程序的编程框架,基于hadoop的数据分析应用的核心框架++ )和yarn(++hadoop的资源管理器,提高资源在集群中间的利用率,可以提高执行速率++);本质:分布式系统基础框架。

hadoop的设计思想?

同理,对于单机无法解决的问题,综合利用多个普通机器的做法比打造一台超级计算机的做法更加具有可行性。

可以有效解决处理tb,pb级别的数据量,现在数据增量是一个前所没有的高度:

2014年是我们国家的大数据政策的元年,当年3月份大数据首次写入政府工作报告中,2021年市场规模接近900亿元

hadoop的特点:

  1. 开源的
  2. 可靠的
  3. 可扩展的
  4. 用于分布式计算的

关于大数据学习之hadoop的安装

配置一个虚拟环境:

好处:

  1. 安全性会有很高的保障
  2. 可以通过xshell工具来对虚拟机进行远程访问

所采用的基础软件:

vmware这个基础的软件对其进行配置(功能:搭建一个*++基础的虚拟环境++*)推荐采用的镜像文件:centos7

使用vmare进行基础的环境搭建和配置:

  1. 点击创建新的虚拟机
  2. 点击其中的典型或者自定义安装
  3. 在安装客户机操作系统,点击稍后安装操作系统

因其正在创建配置。选择稍后安装操作系统选项是因为此时正在创建虚拟机的配置,而实际的Linux操作系统安装过程需要在该配置上运行。(360问答)

  1. 注意,由于在完成点击稍后安装操作系统之后,我们需要再次点击硬盘中的内容,点击自定义中的内容,找到所属自身的镜像文件,创建属于自身的虚拟环境,至于为什么上面一段引用当中已经对于这个问题进行了回答,

个人理解:

linux的操作系统需要在完成vmware所提供的基础计算机配置的基础上开始进行运行,类似于一个基础的先后顺序,所以在这一步的时候,自己一定要尽可能对其注意和调试。

配置ip地址

前言:

基于hadoop集群完全分布集群的特点,所采用的接入网络的方式是:nat(Network Address Translation,网络地址转换)

什么是nat模式?

让虚拟系统借助NAT(网络地址转换)功能,通过宿主机器所在的网络来访问公网。

nat网络的好处是什么?
  1. 两者相互隔离,
  2. 原系统不受影响,
  3. 包括用户的一切操作,不受影响,
  4. 安装程序、不受影响,
  5. 甚至运行病毒不受影响,

在运行最开始的时候,要去删除Linux操作系统本身自带jdk,这个jdk会和自身的jdk产生冲突,所以务必对其进行删除,

rpm -qa |grep -i java

其运行结果:

如果有就会显示,如果没有将不会显示

输入基本的命令行开始配置IP地址:

重启网卡的命令:

service network restart

'开始编辑其基础的网络配置文件:

vi /etc/sysconfig/network-scripts/ifcfg-ens33

开始进行知识的科普:

onboot:系统启动时候是否激活了该网卡

bootproto:指定方式获取ip地址

在这个地方,我们将制定的地方调整为static这种静态的方式(需要自己给自己进行手动的配置)

在完成了基础的ip的配置之后,我们将迎来对于远程连接虚拟机的配置流程:

使用xshell来帮助我们进行完成命令的粘贴和复制

配置虚拟机的网络

配置基础ip地址为:192.168.128.0(在这个地方进行改动)

开始下载xshell

进入到官网中进行下载

XSHELL - NetSarang Website


参考教材:

Hadoop大数据开发基础(第2版)(微课版)|中国工信出版集团|人民邮电出版社

书中的教材有些许老旧,这里也粘贴以下自己参考其他博主的链接和其内容:

https://zhuanlan.zhihu.com/p/558067519

#帖子:Hadoop入门(二):手把手带你从零基础到完整安装配置

相关推荐
2401_8830410838 分钟前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
青云交41 分钟前
大数据新视界 -- 大数据大厂之 Impala 性能优化:融合机器学习的未来之路(上 (2-1))(11/30)
大数据·计算资源·应用案例·数据交互·impala 性能优化·机器学习融合·行业拓展
Nu11PointerException1 小时前
JAVA笔记 | ResponseBodyEmitter等异步流式接口快速学习
笔记·学习
Json_181790144803 小时前
An In-depth Look into the 1688 Product Details Data API Interface
大数据·json
@小博的博客4 小时前
C++初阶学习第十弹——深入讲解vector的迭代器失效
数据结构·c++·学习
南宫生5 小时前
贪心算法习题其四【力扣】【算法学习day.21】
学习·算法·leetcode·链表·贪心算法
懒惰才能让科技进步6 小时前
从零学习大模型(十二)-----基于梯度的重要性剪枝(Gradient-based Pruning)
人工智能·深度学习·学习·算法·chatgpt·transformer·剪枝
Qspace丨轻空间6 小时前
气膜场馆:推动体育文化旅游创新发展的关键力量—轻空间
大数据·人工智能·安全·生活·娱乐
love_and_hope6 小时前
Pytorch学习--神经网络--搭建小实战(手撕CIFAR 10 model structure)和 Sequential 的使用
人工智能·pytorch·python·深度学习·学习
Chef_Chen6 小时前
从0开始学习机器学习--Day14--如何优化神经网络的代价函数
神经网络·学习·机器学习