九、Hadoop环境搭建之Hadoop本地运行模式

文章目录

一、Hadoop 运行模式

Hadoop 官方网站:http://hadoop.apache.org/

Hadoop 运行模式包括:本地模式、伪分布式模式以及完全分布式模式。

  1. 本地模式:单机运行,只是用来演示一下官方案例。
  2. 生产环境不用。
    伪分布式模式:也是单机运行,但是具备 Hadoop 集群的所有功能,一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。
  3. 完全分布式模式:多台服务器组成分布式环境。生产环境使用。

二、本地运行模式

本地运行模式(官方 WordCount)

  1. 创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

    [liudd@hadoop102 hadoop-3.1.3]$ mkdir wcinput

  1. 在 wcinput 文件下创建一个 word.txt 文件

    进入wcinput

    [liudd@hadoop102 hadoop-3.1.3]$ cd wcinput

    编辑 word.txt 文件

    [liudd@hadoop102 wcinput]$ vim word.txt

    在文件中输入如下内容

    hadoop yarn
    hadoop mapreduce
    liudd
    liudd

    保存退出::wq

  2. 执行程序
    回到 Hadoop 目录/opt/module/hadoop-3.1.3

    [liudd@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

  1. 查看结果

    [liudd@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000

看到如下结果:

相关推荐
阿乔外贸日记3 小时前
美国买家资产包装套路与应收款尽调框架,580万应收账款案例解析
大数据·服务器·人工智能·microsoft·云计算
小羊没烦恼!3 小时前
在.net中读写config文件的各种方法
java·大数据·运维·服务器·前端·数据库·oracle
scaryFann4 小时前
职责半径与交接契约:企业智能体团队的边界建模方法
大数据·人工智能
zhixingheyi_tian4 小时前
Spark Configuration 与 AI
大数据
Pocker_Spades_A4 小时前
论文精读(十四):基于先验地图的视觉重定位方法综述:启元机器人“知道自己在哪“的底层能力
大数据·人工智能·机器人
leoZ2315 小时前
第 31 篇 金融与医疗:高合规行业的 AI 产品方法论
大数据·人工智能·金融·大模型·agent
阿明副业观察5 小时前
AI短剧分镜秘籍:从零到电影级视觉冲击
大数据·人工智能·aigc·音视频·ai写作
Leo.yuan5 小时前
2026穿透式监管系统选型避坑:数据接不进、风险穿不透、系统难联动,哪些平台能解决?
大数据·数据库
Thomas.Sir5 小时前
第30课:分布式事务解决方案 & Seata最终一致性实战
分布式·spring cloud·seata
桌管小李5 小时前
内网终端安全再升级|迪康端点安全 2609 版本四大新功能解读
大数据·windows·安全·macos·网络安全