九、Hadoop环境搭建之Hadoop本地运行模式

文章目录

一、Hadoop 运行模式

Hadoop 官方网站:http://hadoop.apache.org/

Hadoop 运行模式包括:本地模式、伪分布式模式以及完全分布式模式。

  1. 本地模式:单机运行,只是用来演示一下官方案例。
  2. 生产环境不用。
    伪分布式模式:也是单机运行,但是具备 Hadoop 集群的所有功能,一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。
  3. 完全分布式模式:多台服务器组成分布式环境。生产环境使用。

二、本地运行模式

本地运行模式(官方 WordCount)

  1. 创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

    [liudd@hadoop102 hadoop-3.1.3]$ mkdir wcinput

  1. 在 wcinput 文件下创建一个 word.txt 文件

    进入wcinput

    [liudd@hadoop102 hadoop-3.1.3]$ cd wcinput

    编辑 word.txt 文件

    [liudd@hadoop102 wcinput]$ vim word.txt

    在文件中输入如下内容

    hadoop yarn
    hadoop mapreduce
    liudd
    liudd

    保存退出::wq

  2. 执行程序
    回到 Hadoop 目录/opt/module/hadoop-3.1.3

    [liudd@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

  1. 查看结果

    [liudd@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000

看到如下结果:

相关推荐
互联科技报6 小时前
商城小程序选择哪家平台比较好?预算有限也能选对!
大数据·小程序
Haibakeji6 小时前
长沙定制开发本地生活APP打造城市便民消费场景
大数据·人工智能·生活
Elastic 中国社区官方博客7 小时前
一个索引,所有媒体:介绍 jina-embeddings-v5-omni
大数据·人工智能·elasticsearch·搜索引擎·ai·媒体·jina
covco7 小时前
AI 原生营销矩阵系统:分布式架构设计与核心模块实现
人工智能·分布式·矩阵
名不经传的养虾人7 小时前
从0到1:企业级AI项目迭代日记 Vol.19|两个环节 vs 十几个环节:Hermes厉害在哪里?
大数据·人工智能·ai编程·企业ai·多agent协作
万邦科技-Alan7 小时前
API淘宝关键词搜索:运用场所、使用方式及获客逻辑
大数据·api·开发平台
璞华Purvar7 小时前
VC PE投资管理系统选型的核心考量因素有哪些?(2026选型指南)
大数据·运维·人工智能
Gofarlic_OMS7 小时前
CONVERGE CFD许可不够用?自动回收闲置,燃烧仿真随时跑
java·大数据·开发语言·架构·制造
智慧医养结合软件开源7 小时前
可视化管控,赋能高效运营与专业展示
大数据·人工智能·安全·云计算·生活
Java识堂7 小时前
Kafka 如何保证消息的可靠性投递?
分布式·kafka