将 MapReduce 程序打成 JAR 包并在 Linux 虚拟机的 Hadoop 集群上运行

笨蛋少年派2025-10-17 12:05

将 JAR 包上传到 Linux 虚拟机

①确保pom.xml中添加了 Maven 打包插件，用于将项目打包成可执行 JAR

复制代码

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.1</version>  
                <configuration>
                    <source>8</source>
                    <target>8</target>
                    <encoding>UTF-8</encoding>
                    <!--      <verbal>true</verbal>  -->
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.6.0</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <minimizeJar>true</minimizeJar>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

maven-compiler-plugin的3.1版本支持JDK1.8

<source>/<target>级别写8或1.8均可，都代表同一个Java工具包

maven-shade-plugin的3.6版本支持JDK1.8

②打开 IDEA 的 Maven 面板（右侧边栏）

③展开生存期（Lifecycle），双击package，Maven 会自动编译并打包项目

④打包完成后，JAR 包会生成在项目的target目录下，如果忘记了项目目录，光标移动到项目名上会出现

⑤选择jar包复制，到Linux系统中粘贴：

第一个jar包：

如果运行环境没有提供项目所需的依赖（比如在一个没有预装 Hadoop 相关类库的环境中运行 MapReduce 程序），就需要使用这种包含了所有依赖的胖 JAR，这样程序才能在缺少外部依赖的环境中独立运行。

original 开头的jar包：

不会包含项目所依赖的第三方库，当Linux 上的 Hadoop 集群已经提供了项目所需的所有依赖，那么只需要上传项目自身的代码 JAR 就能运行

在 Linux 虚拟机中运行 JAR 包

①启动Hadoop 集群，通过jps命令验证，NameNode、DataNode、ResourceManager、NodeManager均正常启动：

复制代码

start-all.sh
jps

#如果是特定任务需要完成前置步骤，比如单词统计需要创建input文件并上传到hdfs上，这里是通用的关键步骤

② 运行 MapReduce JAR 包

使用 hadoop jar 命令提交作业，格式为：

hadoop jar 你的JAR包路径主类全限定名 HDFS输入路径 HDFS输出路径

示例（假设 JAR 包为 wordcount.jar，输入路径为 /input，输出路径为 /output）：

复制代码

hadoop jar /home/hadoop/wordcount.jar mapreduce.WordCountDriver /input /output