九、Hadoop环境搭建之Hadoop本地运行模式

文章目录

一、Hadoop 运行模式

Hadoop 官方网站:http://hadoop.apache.org/

Hadoop 运行模式包括:本地模式、伪分布式模式以及完全分布式模式。

  1. 本地模式:单机运行,只是用来演示一下官方案例。
  2. 生产环境不用。
    伪分布式模式:也是单机运行,但是具备 Hadoop 集群的所有功能,一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。
  3. 完全分布式模式:多台服务器组成分布式环境。生产环境使用。

二、本地运行模式

本地运行模式(官方 WordCount)

  1. 创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

    [liudd@hadoop102 hadoop-3.1.3]$ mkdir wcinput

  1. 在 wcinput 文件下创建一个 word.txt 文件

    进入wcinput

    [liudd@hadoop102 hadoop-3.1.3]$ cd wcinput

    编辑 word.txt 文件

    [liudd@hadoop102 wcinput]$ vim word.txt

    在文件中输入如下内容

    hadoop yarn
    hadoop mapreduce
    liudd
    liudd

    保存退出::wq

  2. 执行程序
    回到 Hadoop 目录/opt/module/hadoop-3.1.3

    [liudd@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

  1. 查看结果

    [liudd@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000

看到如下结果:

相关推荐
是做服装的同学7 小时前
服装软件ERP系统的基本概念是什么?主要构成有哪些?
大数据·经验分享·其他
heimeiyingwang8 小时前
企业供应链 AI 优化:需求预测与智能调度
大数据·数据库·人工智能·机器学习
没有bug.的程序员12 小时前
Gradle 构建优化深度探秘:从 Java 核心到底层 Android 物理性能压榨实战指南
android·java·开发语言·分布式·缓存·gradle
文艺倾年12 小时前
【强化学习&SWE】如何无容器化进行强化学习训练
人工智能·分布式·大模型
Dr.AE12 小时前
AI+教育行业分析报告
大数据·人工智能·教育电商
Evaporator Core14 小时前
通信专业技术资格考试备战系列(一):通信基础知识核心要点解析
大数据·tornado
freepopo14 小时前
比较好的别墅装修策略
大数据
代码的知行者17 小时前
分布式任务调度系列 - PowerJob
分布式
实战产品说19 小时前
2026出海产品的机会与挑战
大数据·人工智能·产品运营·产品经理
无心水19 小时前
【任务调度:数据库锁 + 线程池实战】4、架构实战:用线程池 + SKIP LOCKED 构建高可用分布式调度引擎
人工智能·分布式·后端·spring·架构