九、Hadoop环境搭建之Hadoop本地运行模式

文章目录

一、Hadoop 运行模式

Hadoop 官方网站:http://hadoop.apache.org/

Hadoop 运行模式包括:本地模式、伪分布式模式以及完全分布式模式。

  1. 本地模式:单机运行,只是用来演示一下官方案例。
  2. 生产环境不用。
    伪分布式模式:也是单机运行,但是具备 Hadoop 集群的所有功能,一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。
  3. 完全分布式模式:多台服务器组成分布式环境。生产环境使用。

二、本地运行模式

本地运行模式(官方 WordCount)

  1. 创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

    [liudd@hadoop102 hadoop-3.1.3]$ mkdir wcinput

  1. 在 wcinput 文件下创建一个 word.txt 文件

    进入wcinput

    [liudd@hadoop102 hadoop-3.1.3]$ cd wcinput

    编辑 word.txt 文件

    [liudd@hadoop102 wcinput]$ vim word.txt

    在文件中输入如下内容

    hadoop yarn
    hadoop mapreduce
    liudd
    liudd

    保存退出::wq

  2. 执行程序
    回到 Hadoop 目录/opt/module/hadoop-3.1.3

    [liudd@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

  1. 查看结果

    [liudd@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000

看到如下结果:

相关推荐
Zzz 小生10 小时前
Claude Code学习笔记(四)-助你快速搭建首个Python项目
大数据·数据库·elasticsearch
koping_wu12 小时前
【RabbitMQ】架构原理、消息丢失、重复消费、顺序消费、事务消息
分布式·架构·rabbitmq
Jabes.yang13 小时前
Java面试场景:从Spring Web到Kafka的音视频应用挑战
大数据·spring boot·kafka·spring security·java面试·spring webflux
Hello.Reader14 小时前
Flink 第三方序列化Kryo 注册、Protobuf/Thrift 接入与坑位避雷
大数据·flink
喵桑..14 小时前
kafka源码阅读
分布式·kafka
斯普信专业组14 小时前
使用Reindex迁移Elasticsearch集群数据详解(下)
大数据·elasticsearch
阿里云大数据AI技术15 小时前
云栖实录|MaxCompute全新升级:AI时代的原生数据仓库
大数据·数据库·云原生
酷ku的森16 小时前
RabbitMQ的概述
分布式·rabbitmq
QYResearch17 小时前
导航浮标灯市场现状及前景分析
大数据
QYResearch17 小时前
2025年全球半导体用电子湿化学品行业总体规模、主要企业国内外市场占有率及排名
大数据