九、Hadoop环境搭建之Hadoop本地运行模式

文章目录

一、Hadoop 运行模式

Hadoop 官方网站:http://hadoop.apache.org/

Hadoop 运行模式包括:本地模式、伪分布式模式以及完全分布式模式。

  1. 本地模式:单机运行,只是用来演示一下官方案例。
  2. 生产环境不用。
    伪分布式模式:也是单机运行,但是具备 Hadoop 集群的所有功能,一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。
  3. 完全分布式模式:多台服务器组成分布式环境。生产环境使用。

二、本地运行模式

本地运行模式(官方 WordCount)

  1. 创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

    [liudd@hadoop102 hadoop-3.1.3]$ mkdir wcinput

  1. 在 wcinput 文件下创建一个 word.txt 文件

    进入wcinput

    [liudd@hadoop102 hadoop-3.1.3]$ cd wcinput

    编辑 word.txt 文件

    [liudd@hadoop102 wcinput]$ vim word.txt

    在文件中输入如下内容

    hadoop yarn
    hadoop mapreduce
    liudd
    liudd

    保存退出::wq

  2. 执行程序
    回到 Hadoop 目录/opt/module/hadoop-3.1.3

    [liudd@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

  1. 查看结果

    [liudd@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000

看到如下结果:

相关推荐
老姜洛克2 小时前
大数据-Hadoop(一)安装和部署
大数据
财经三剑客2 小时前
吉利汽车7月销量超23.7万辆 同比增长58%
大数据·汽车
猿榜2 小时前
Python基础-数据结构
大数据·数据结构·python
字节跳动数据平台3 小时前
来火山引擎「算子广场」,一键处理多模态数据
大数据
beijingliushao4 小时前
33-Hive SQL DML语法之查询数据-2
hive·hadoop·sql
愚昧之山绝望之谷开悟之坡4 小时前
Kafka 的消费
分布式·kafka
BD_Marathon4 小时前
Kafka下载和安装
分布式·kafka
渲吧-云渲染4 小时前
从行业场景到视觉呈现:3ds Max 与 C4D 效果图的本质分野
大数据·3d
Lx3525 小时前
如何正确选择Hadoop数据压缩格式:Gzip vs LZO vs Snappy
大数据·hadoop
专注API从业者5 小时前
Python/Node.js 调用taobao API:构建实时商品详情数据采集服务
大数据·前端·数据库·node.js