关于大数据学习之hadoop的安装

前部安装提示:

建议先将电脑中基础内容进行清洁,维持基础的*++极简主义,++* 通过这样的方式可以快速帮助我们完成软件的安装,同时也是符合计算机的基础网络结构,

什么是hadoop?

处理大数据的分布式存储和计算框架是hadoop,hadoop有三大核心组件:hdfs(++分布式文件管理系统++ ),mapreduce(++分布式运算程序的编程框架,基于hadoop的数据分析应用的核心框架++ )和yarn(++hadoop的资源管理器,提高资源在集群中间的利用率,可以提高执行速率++);本质:分布式系统基础框架。

hadoop的设计思想?

同理,对于单机无法解决的问题,综合利用多个普通机器的做法比打造一台超级计算机的做法更加具有可行性。

可以有效解决处理tb,pb级别的数据量,现在数据增量是一个前所没有的高度:

2014年是我们国家的大数据政策的元年,当年3月份大数据首次写入政府工作报告中,2021年市场规模接近900亿元

hadoop的特点:

  1. 开源的
  2. 可靠的
  3. 可扩展的
  4. 用于分布式计算的

关于大数据学习之hadoop的安装

配置一个虚拟环境:

好处:

  1. 安全性会有很高的保障
  2. 可以通过xshell工具来对虚拟机进行远程访问

所采用的基础软件:

vmware这个基础的软件对其进行配置(功能:搭建一个*++基础的虚拟环境++*)推荐采用的镜像文件:centos7

使用vmare进行基础的环境搭建和配置:

  1. 点击创建新的虚拟机
  2. 点击其中的典型或者自定义安装
  3. 在安装客户机操作系统,点击稍后安装操作系统

因其正在创建配置。选择稍后安装操作系统选项是因为此时正在创建虚拟机的配置,而实际的Linux操作系统安装过程需要在该配置上运行。(360问答)

  1. 注意,由于在完成点击稍后安装操作系统之后,我们需要再次点击硬盘中的内容,点击自定义中的内容,找到所属自身的镜像文件,创建属于自身的虚拟环境,至于为什么上面一段引用当中已经对于这个问题进行了回答,

个人理解:

linux的操作系统需要在完成vmware所提供的基础计算机配置的基础上开始进行运行,类似于一个基础的先后顺序,所以在这一步的时候,自己一定要尽可能对其注意和调试。

配置ip地址

前言:

基于hadoop集群完全分布集群的特点,所采用的接入网络的方式是:nat(Network Address Translation,网络地址转换)

什么是nat模式?

让虚拟系统借助NAT(网络地址转换)功能,通过宿主机器所在的网络来访问公网。

nat网络的好处是什么?
  1. 两者相互隔离,
  2. 原系统不受影响,
  3. 包括用户的一切操作,不受影响,
  4. 安装程序、不受影响,
  5. 甚至运行病毒不受影响,

在运行最开始的时候,要去删除Linux操作系统本身自带jdk,这个jdk会和自身的jdk产生冲突,所以务必对其进行删除,

复制代码
rpm -qa |grep -i java

其运行结果:

如果有就会显示,如果没有将不会显示

输入基本的命令行开始配置IP地址:

重启网卡的命令:

复制代码
service network restart

'开始编辑其基础的网络配置文件:

复制代码
vi /etc/sysconfig/network-scripts/ifcfg-ens33

开始进行知识的科普:

onboot:系统启动时候是否激活了该网卡

bootproto:指定方式获取ip地址

在这个地方,我们将制定的地方调整为static这种静态的方式(需要自己给自己进行手动的配置)

在完成了基础的ip的配置之后,我们将迎来对于远程连接虚拟机的配置流程:

使用xshell来帮助我们进行完成命令的粘贴和复制

配置虚拟机的网络

配置基础ip地址为:192.168.128.0(在这个地方进行改动)

开始下载xshell

进入到官网中进行下载

XSHELL - NetSarang Website


参考教材:

Hadoop大数据开发基础(第2版)(微课版)|中国工信出版集团|人民邮电出版社

书中的教材有些许老旧,这里也粘贴以下自己参考其他博主的链接和其内容:

https://zhuanlan.zhihu.com/p/558067519

#帖子:Hadoop入门(二):手把手带你从零基础到完整安装配置

相关推荐
wuyk5557 分钟前
从零吃透 MQTT 通信|第 10 章 阿里云 / 腾讯云 MQTT 设备完整对接实战,三元组、签名、设备上云调试
c语言·开发语言·stm32·学习·阿里云·云计算·腾讯云
2601_9622184715 分钟前
万象生鲜系统协议价底层架构实现生鲜企业报价业务数字化管理
大数据·运维·微服务·云原生·架构
fanged1 小时前
English at Work小结(TODO)
学习
南京兴帝文化传媒有限公司1 小时前
地图SEO与AI搜索优化结合实践:宁国摄影工作室本地获客案例分析
大数据·前端·人工智能·geo 优化·geo优化避坑
X-future4261 小时前
OpenClaw源码学习
学习
长谷深风1111 小时前
AI自动化中的关键闸门:何时必须人工审批?
大数据·人工智能·ai·自动化·ai agent·智能体·hitl
kaixin_啊啊1 小时前
中国研究生数学建模竞赛(华为杯)学习笔记——三维瀑布图绘图代码
笔记·学习·数学建模
动词ing1 小时前
【学习笔记】数据结构(链表合并 双指针合并有序链表)
数据结构·笔记·学习
风之清扬1 小时前
Agent学习之四-初识Agent CLI
人工智能·科技·学习
传奇开心果编程1 小时前
【xilem0.4基础语法学与练】第45课 xilem_core
学习·rust·前端框架