【大数据存储】实验1 Hadoop伪分布式安装

实验1 Hadoop伪分布式安装

  1. 下载安装虚拟机软件Vmware,下载Ubuntu镜像文件,安装Ubuntu虚拟机
  1. 在Ubuntu系统中创建用户

已有用户prx17

更新APT ,安装vim

使用vim创建并编辑一个文件

vim hello.c

(按o键进入编辑模式)

源程序

#include<stdio.h>

void main(){

printf("hello world!\n");

}

点击esc退出编辑模式,输入:wq,保存并退出文件

Ls查看文件

安装SSH并配置SSH无密码登录

使用ssh localhost登录

配置无密码登录

完成无密码登录

安装Java环境

解压缩

配置环境

检查是否安装成功

  1. 下载Hadoop并解压

解压缩hadoop安装包,给予用户prx17 hadoop文件权限,并检查hadoop是否安装成功

选择运行grep例子

  1. Hadoop伪分布式安装(修改配置文件;

core-site.xml

hdfs-site.xml

名称节点格式化;

./bin/hdfs namenode -format

"successfully formatted"的提示信息

启动Hadoop,输入jps命令,查看是否启动成功

启动成功,也可以使用start-all.sh,但是伪分布式可以只使用dfs

Web http://localhost:9870查看hdfs信息

l

  1. 运行测试例子

创建用户目录

运行自带的grep程序

  1. 关闭Hadoop

./sbin/stop-dfs.s

心得体会:

在安装hadoop之后发生了查看hadoop version失败的问题,后来发现是安装路径添加错误。

相关推荐
2601_960620373 小时前
计算机、大数据专业大学考什么证?适配校招实用证书清单
大数据
智恒百亿3 小时前
RTX 5090 全场景技术应用解析:从游戏算力到专业生产力落地
大数据·服务器·游戏
智圣新创014 小时前
面向多级组织协同场景 高校第二课堂一站式管理中枢落地全场景实操答疑
大数据·人工智能
黎阳之光4 小时前
打破堆场感知黑盒:黎阳之光视频孪生,构建港口码头网格化透明管控新体系
大数据·人工智能·算法·安全·数字孪生
大模型码小白5 小时前
AI 对话流性能调优:万级消息的虚拟滚动落地
java·大数据·前端·javascript·人工智能·算法·机器学习
数智启示录5 小时前
Flink CDC 机制精讲(二):Checkpoint Barrier 如何形成一致快照 【面试宝典】
大数据·经验分享·面试·flink
华东数交6 小时前
2026数博会“数据集市”活动8月27日至28日在贵阳举办
大数据
whcyhhh6 小时前
头歌实践教学平台:数据科学与大数据技术导论(十二)
大数据·开发语言·python·数据清洗
资深电气设计7 小时前
堆垛机变频器项目落地观察:FC360变频驱动方案在中鼎科技堆垛机中的应用成效
大数据·人工智能·科技
人工智能培训9 小时前
人工智能数据安全下的个人信息保护实践方案
大数据·人工智能·算法·生活