九、Hadoop环境搭建之Hadoop本地运行模式

文章目录

一、Hadoop 运行模式

Hadoop 官方网站:http://hadoop.apache.org/

Hadoop 运行模式包括:本地模式、伪分布式模式以及完全分布式模式。

  1. 本地模式:单机运行,只是用来演示一下官方案例。
  2. 生产环境不用。
    伪分布式模式:也是单机运行,但是具备 Hadoop 集群的所有功能,一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。
  3. 完全分布式模式:多台服务器组成分布式环境。生产环境使用。

二、本地运行模式

本地运行模式(官方 WordCount)

  1. 创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

    [liudd@hadoop102 hadoop-3.1.3]$ mkdir wcinput

  1. 在 wcinput 文件下创建一个 word.txt 文件

    进入wcinput

    [liudd@hadoop102 hadoop-3.1.3]$ cd wcinput

    编辑 word.txt 文件

    [liudd@hadoop102 wcinput]$ vim word.txt

    在文件中输入如下内容

    hadoop yarn
    hadoop mapreduce
    liudd
    liudd

    保存退出::wq

  2. 执行程序
    回到 Hadoop 目录/opt/module/hadoop-3.1.3

    [liudd@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

  1. 查看结果

    [liudd@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000

看到如下结果:

相关推荐
2601_9494999429 分钟前
硬件工程师实操:芯瑞科技两款 400G 高速互联方案参数、场景、选型全解析
大数据·运维·人工智能·科技·光模块
优氙费控33 分钟前
报销审核效率低?AI费用审核正在改变财务工作方式
大数据·人工智能
云边云科技_云网融合39 分钟前
金融医疗混合云组网如何满足数据安全与合规要求?
大数据·人工智能·物联网
hzcj8881 小时前
汇正财经:出海数据向好,创新药热度高
大数据·人工智能
Bzc11456232 小时前
中医辨证调护:慢病视角下的血糖健康养护思路
大数据·人工智能·生活
Fluxart.ai2 小时前
2026电商AI出图质量验收标准与质检SOP完整教程
大数据·人工智能
泛普软件2 小时前
工程施工项目管理办公系统能解决哪些现场管理难题与超支问题
大数据·人工智能·软件需求
用户3610588626122 小时前
Spark 核心之广播变量、累加器原理深度剖析
大数据·spark
A15362552 小时前
WMS 仓储系统的软件有哪些?2026 主流产品分类与选型参考
大数据·人工智能
hopsky2 小时前
《HBase 权威指南》 Lars George
大数据·数据库·hbase