【大数据存储】实验1 Hadoop伪分布式安装

实验1 Hadoop伪分布式安装

  1. 下载安装虚拟机软件Vmware,下载Ubuntu镜像文件,安装Ubuntu虚拟机
  1. 在Ubuntu系统中创建用户

已有用户prx17

更新APT ,安装vim

使用vim创建并编辑一个文件

vim hello.c

(按o键进入编辑模式)

源程序

#include<stdio.h>

void main(){

printf("hello world!\n");

}

点击esc退出编辑模式,输入:wq,保存并退出文件

Ls查看文件

安装SSH并配置SSH无密码登录

使用ssh localhost登录

配置无密码登录

完成无密码登录

安装Java环境

解压缩

配置环境

检查是否安装成功

  1. 下载Hadoop并解压

解压缩hadoop安装包,给予用户prx17 hadoop文件权限,并检查hadoop是否安装成功

选择运行grep例子

  1. Hadoop伪分布式安装(修改配置文件;

core-site.xml

hdfs-site.xml

名称节点格式化;

./bin/hdfs namenode -format

"successfully formatted"的提示信息

启动Hadoop,输入jps命令,查看是否启动成功

启动成功,也可以使用start-all.sh,但是伪分布式可以只使用dfs

Web http://localhost:9870查看hdfs信息

l

  1. 运行测试例子

创建用户目录

运行自带的grep程序

  1. 关闭Hadoop

./sbin/stop-dfs.s

心得体会:

在安装hadoop之后发生了查看hadoop version失败的问题,后来发现是安装路径添加错误。

相关推荐
SafePloy安策1 小时前
ES信息防泄漏:策略与实践
大数据·elasticsearch·开源
学术搬运工1 小时前
【珠海科技学院主办,暨南大学协办 | IEEE出版 | EI检索稳定 】2024年健康大数据与智能医疗国际会议(ICHIH 2024)
大数据·图像处理·人工智能·科技·机器学习·自然语言处理
星染xr2 小时前
kafka 生产经验——数据积压(消费者如何提高吞吐量)
分布式·kafka
东方巴黎~Sunsiny2 小时前
如何监控Kafka消费者的性能指标?
分布式·kafka
飞升不如收破烂~2 小时前
kafka
分布式·kafka
Matrix702 小时前
HBase理论_背景特点及数据单元及与Hive对比
大数据·数据库·hbase
龙哥·三年风水3 小时前
群控系统服务端开发模式-应用开发-前端个人信息功能
分布式·vue·群控系统
B站计算机毕业设计超人3 小时前
计算机毕业设计Python+大模型农产品价格预测 ARIMA自回归模型 农产品可视化 农产品爬虫 机器学习 深度学习 大数据毕业设计 Django Flask
大数据·爬虫·python·深度学习·机器学习·课程设计·数据可视化
Carl_奕然4 小时前
【大数据算法】MapReduce算法概述之:MapReduce基础模型
大数据·算法·mapreduce
小码哥呀4 小时前
RabbitMQ集群搭建
分布式·rabbitmq