【大数据存储】实验1 Hadoop伪分布式安装

实验1 Hadoop伪分布式安装

  1. 下载安装虚拟机软件Vmware,下载Ubuntu镜像文件,安装Ubuntu虚拟机
  1. 在Ubuntu系统中创建用户

已有用户prx17

更新APT ,安装vim

使用vim创建并编辑一个文件

vim hello.c

(按o键进入编辑模式)

源程序

#include<stdio.h>

void main(){

printf("hello world!\n");

}

点击esc退出编辑模式,输入:wq,保存并退出文件

Ls查看文件

安装SSH并配置SSH无密码登录

使用ssh localhost登录

配置无密码登录

完成无密码登录

安装Java环境

解压缩

配置环境

检查是否安装成功

  1. 下载Hadoop并解压

解压缩hadoop安装包,给予用户prx17 hadoop文件权限,并检查hadoop是否安装成功

选择运行grep例子

  1. Hadoop伪分布式安装(修改配置文件;

core-site.xml

hdfs-site.xml

名称节点格式化;

./bin/hdfs namenode -format

"successfully formatted"的提示信息

启动Hadoop,输入jps命令,查看是否启动成功

启动成功,也可以使用start-all.sh,但是伪分布式可以只使用dfs

Web http://localhost:9870查看hdfs信息

l

  1. 运行测试例子

创建用户目录

运行自带的grep程序

  1. 关闭Hadoop

./sbin/stop-dfs.s

心得体会:

在安装hadoop之后发生了查看hadoop version失败的问题,后来发现是安装路径添加错误。

相关推荐
千禧皓月2 小时前
【C++】基于C++的RPC分布式网络通信框架(二)
c++·分布式·rpc
森语林溪2 小时前
大数据环境搭建从零开始(十四)CentOS 7 系统更新源更换详解:阿里云镜像源配置完整指南
大数据·linux·运维·阿里云·centos
杂家3 小时前
Zookeeper完全分布式部署(超详细)
大数据·分布式·zookeeper
snakecy4 小时前
树莓派学习资料共享
大数据·开发语言·学习·系统架构
悠闲蜗牛�4 小时前
技术融合新纪元:深度学习、大数据与云原生的跨界实践
大数据·深度学习·云原生
雨点保护雪花4 小时前
15、RabbitMQ
分布式·rabbitmq
武子康4 小时前
大数据-147 Java 访问 Apache Kudu:从建表到 CRUD(含 KuduSession 刷新模式与多 Master 配置)
大数据·后端·nosql
snakecy5 小时前
信息系统项目管理师--论文case
大数据·学习·职场和发展·区块链
数据库安全6 小时前
世界互联网大会|美创科技无侵入数据安全多智体治理技术首发
大数据·人工智能·科技·数据安全
sniper-拒绝白嫖6 小时前
uniapp ios android 本地离线debug
大数据