【大数据存储】实验1 Hadoop伪分布式安装

实验1 Hadoop伪分布式安装

  1. 下载安装虚拟机软件Vmware,下载Ubuntu镜像文件,安装Ubuntu虚拟机
  1. 在Ubuntu系统中创建用户

已有用户prx17

更新APT ,安装vim

使用vim创建并编辑一个文件

vim hello.c

(按o键进入编辑模式)

源程序

#include<stdio.h>

void main(){

printf("hello world!\n");

}

点击esc退出编辑模式,输入:wq,保存并退出文件

Ls查看文件

安装SSH并配置SSH无密码登录

使用ssh localhost登录

配置无密码登录

完成无密码登录

安装Java环境

解压缩

配置环境

检查是否安装成功

  1. 下载Hadoop并解压

解压缩hadoop安装包,给予用户prx17 hadoop文件权限,并检查hadoop是否安装成功

选择运行grep例子

  1. Hadoop伪分布式安装(修改配置文件;

core-site.xml

hdfs-site.xml

名称节点格式化;

./bin/hdfs namenode -format

"successfully formatted"的提示信息

启动Hadoop,输入jps命令,查看是否启动成功

启动成功,也可以使用start-all.sh,但是伪分布式可以只使用dfs

Web http://localhost:9870查看hdfs信息

l

  1. 运行测试例子

创建用户目录

运行自带的grep程序

  1. 关闭Hadoop

./sbin/stop-dfs.s

心得体会:

在安装hadoop之后发生了查看hadoop version失败的问题,后来发现是安装路径添加错误。

相关推荐
渲吧-云渲染1 小时前
概念解码:PDM、PLM与ERP——厘清边界,深化协作,驱动制造数字化升级
大数据·制造
2501_941148153 小时前
从边缘节点到云端协同的分布式缓存一致性实现原理实践解析与多语言代码示例分享笔记集录稿
笔记·分布式·物联网·缓存
建群新人小猿4 小时前
陀螺匠企业助手-我的日程
android·大数据·运维·开发语言·容器
云和数据.ChenGuang4 小时前
git commit复合指令
大数据·git·elasticsearch
尋有緣5 小时前
力扣614-二级关注者
大数据·数据库·sql·oracle
serve the people5 小时前
Agent 基于大模型接口实现用户意图识别:完整流程与实操
大数据·人工智能·agent
回家路上绕了弯5 小时前
分布式事务SAGA模式详解:长事务与复杂流程的柔性事务方案
分布式·后端
小鹿学程序5 小时前
安装Flume
大数据·flume
中科天工5 小时前
智能工厂的投资回报分析是什么?主要包含哪些关键因素?
大数据·人工智能·智能
Apache Flink6 小时前
Flink + Fluss 实战: Delta Join 原理解析与操作指南
大数据·数据库·flink