使用java远程提交spark任务到yarn集群

使用java远程提交spark任务到yarn集群

背景

公司需求中,需要用到java远程提交spark任务,方式还是用yarn提供的方法提交任务。如果你也想远程提交flink任务,请看这篇文章使用java远程提交flink任务到yarn集群

环境准备

大数据集群,只要有hadoop就行

正式开始

1. 打包spark jars目录下所有jar包,上传到hdfs

shell 复制代码
cd spark-3.4.3-bin-hadoop3/jars
zip -q -r __spark_libs__.zip *
hdfs dfs -put __spark_libs__.zip /

2. 上传你编译好的spark代码

我这里为了方便测试,直接spark提供的案例代码

hdfs dfs -put spark-examples_2.12-3.4.3.jar /

编写java代码,远程提交任务

java 复制代码
package com.test;

import org.apache.spark.SparkConf;
import org.apache.spark.deploy.yarn.Client;
import org.apache.spark.deploy.yarn.ClientArguments;


public class SparkSubmit {
    private static final String SPARK_YARN_QUEUE_KEY = "spark.yarn.queue";
    private static final String DEFAULT_SPARK_YARN_QUEUE_VALUE = "default";

    public static void main(String[] args) {
        dslSubmit();
    }

    public static String dslSubmit()  {
        System.setProperty("HADOOP_USER_NAME","root");
        String[] runArgs = new String[]{
                "--class", "org.apache.spark.examples.JavaSparkPi",
                "--jar", "hdfs://node1.itcast.cn/spark-examples_2.12-3.4.3.jar",
                "--arg", "-m",
                "--arg", "yarn",
                "--arg", "-d"
        };
        SparkConf sparkConf = new SparkConf();
        sparkConf.set("spark.yarn.scheduler.heartbeat.interval-ms", "1000");
        sparkConf.set("spark.submit.deployMode", "cluster");
        sparkConf.set("spark.yarn.preserve.staging.files", "false");
        sparkConf.set("mapreduce.app-submission.cross-platform", "true");
        sparkConf.set("spark.yarn.isHadoopProvided", "true");
        sparkConf.set("spark.yarn.archive", "hdfs://node1.itcast.cn/__spark_libs__.zip");
        sparkConf.set("spark.hadoop.yarn.resourcemanager.hostname", "node1");
        sparkConf.set("spark.hadoop.yarn.resourcemanager.address",
                "node1:8032");
        sparkConf
                .set("spark.hadoop.yarn.resourcemanager.scheduler.address",
                        "node1:8030");
//        sparkConf.set("spark.yarn.jars", sparkYarnJars);
//        sparkConf.set("spark.yarn.stagingDir", sparkYarnStagingDir);
//        sparkConf.set("spark.files", sparkFiles);
        sparkConf.set("spark.hadoop.mapreduce.framework.name", "yarn");
        sparkConf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

        sparkConf.set(SPARK_YARN_QUEUE_KEY, DEFAULT_SPARK_YARN_QUEUE_VALUE);
        try {
            ClientArguments cArgs = new ClientArguments(runArgs);
            Client client = new Client(cArgs, sparkConf, null);
            client.submitApplication();
            String applicationId = client.getApplicationId().toString();
            System.out.println(applicationId);
            return applicationId.toString();
        } catch (Exception e) {
            e.printStackTrace();
            return null;

        }
    }

}

最后就可以去yarn里面看执行情况了

相关推荐
测试界的酸菜鱼7 分钟前
Python 大数据展示屏实例
大数据·开发语言·python
让学习成为一种生活方式11 分钟前
R包下载太慢安装中止的解决策略-R语言003
java·数据库·r语言
晨曦_子画16 分钟前
编程语言之战:AI 之后的 Kotlin 与 Java
android·java·开发语言·人工智能·kotlin
Black_Friend25 分钟前
关于在VS中使用Qt不同版本报错的问题
开发语言·qt
南宫生39 分钟前
贪心算法习题其三【力扣】【算法学习day.20】
java·数据结构·学习·算法·leetcode·贪心算法
希言JY1 小时前
C字符串 | 字符串处理函数 | 使用 | 原理 | 实现
c语言·开发语言
残月只会敲键盘1 小时前
php代码审计--常见函数整理
开发语言·php
xianwu5431 小时前
反向代理模块
linux·开发语言·网络·git
Heavydrink1 小时前
HTTP动词与状态码
java
ktkiko111 小时前
Java中的远程方法调用——RPC详解
java·开发语言·rpc