使用java远程提交spark任务到yarn集群

使用java远程提交spark任务到yarn集群

背景

公司需求中,需要用到java远程提交spark任务,方式还是用yarn提供的方法提交任务。如果你也想远程提交flink任务,请看这篇文章使用java远程提交flink任务到yarn集群

环境准备

大数据集群,只要有hadoop就行

正式开始

1. 打包spark jars目录下所有jar包,上传到hdfs

shell 复制代码
cd spark-3.4.3-bin-hadoop3/jars
zip -q -r __spark_libs__.zip *
hdfs dfs -put __spark_libs__.zip /

2. 上传你编译好的spark代码

我这里为了方便测试,直接spark提供的案例代码

hdfs dfs -put spark-examples_2.12-3.4.3.jar /

编写java代码,远程提交任务

java 复制代码
package com.test;

import org.apache.spark.SparkConf;
import org.apache.spark.deploy.yarn.Client;
import org.apache.spark.deploy.yarn.ClientArguments;


public class SparkSubmit {
    private static final String SPARK_YARN_QUEUE_KEY = "spark.yarn.queue";
    private static final String DEFAULT_SPARK_YARN_QUEUE_VALUE = "default";

    public static void main(String[] args) {
        dslSubmit();
    }

    public static String dslSubmit()  {
        System.setProperty("HADOOP_USER_NAME","root");
        String[] runArgs = new String[]{
                "--class", "org.apache.spark.examples.JavaSparkPi",
                "--jar", "hdfs://node1.itcast.cn/spark-examples_2.12-3.4.3.jar",
                "--arg", "-m",
                "--arg", "yarn",
                "--arg", "-d"
        };
        SparkConf sparkConf = new SparkConf();
        sparkConf.set("spark.yarn.scheduler.heartbeat.interval-ms", "1000");
        sparkConf.set("spark.submit.deployMode", "cluster");
        sparkConf.set("spark.yarn.preserve.staging.files", "false");
        sparkConf.set("mapreduce.app-submission.cross-platform", "true");
        sparkConf.set("spark.yarn.isHadoopProvided", "true");
        sparkConf.set("spark.yarn.archive", "hdfs://node1.itcast.cn/__spark_libs__.zip");
        sparkConf.set("spark.hadoop.yarn.resourcemanager.hostname", "node1");
        sparkConf.set("spark.hadoop.yarn.resourcemanager.address",
                "node1:8032");
        sparkConf
                .set("spark.hadoop.yarn.resourcemanager.scheduler.address",
                        "node1:8030");
//        sparkConf.set("spark.yarn.jars", sparkYarnJars);
//        sparkConf.set("spark.yarn.stagingDir", sparkYarnStagingDir);
//        sparkConf.set("spark.files", sparkFiles);
        sparkConf.set("spark.hadoop.mapreduce.framework.name", "yarn");
        sparkConf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

        sparkConf.set(SPARK_YARN_QUEUE_KEY, DEFAULT_SPARK_YARN_QUEUE_VALUE);
        try {
            ClientArguments cArgs = new ClientArguments(runArgs);
            Client client = new Client(cArgs, sparkConf, null);
            client.submitApplication();
            String applicationId = client.getApplicationId().toString();
            System.out.println(applicationId);
            return applicationId.toString();
        } catch (Exception e) {
            e.printStackTrace();
            return null;

        }
    }

}

最后就可以去yarn里面看执行情况了

相关推荐
jokerest123几秒前
pwn——test_your_nc1——测试
开发语言·php
小宋10218 分钟前
实现Excel文件和其他文件导出为压缩包,并导入
java·javascript·excel·etl
碧海蓝天202212 分钟前
接上一主题,C++14中如何设计类似于std::any,使集合在C++中与Python一样支持任意数据?
开发语言·c++·python
guihong00412 分钟前
JAVA面试题、八股文学习之JVM篇
java·jvm·学习
QQ_11543203114 分钟前
基于Java+SpringBoot+Mysql在线简单拍卖竞价拍卖竞拍系统功能设计与实现九
java·spring boot·mysql·毕业设计·毕业源码·竞拍系统·竞拍项目
醉颜凉16 分钟前
计算(a+b)/c的值
java·c语言·数据结构·c++·算法
周杰伦fans18 分钟前
Java与C#
java·开发语言·c#
SAP学习成长之路31 分钟前
SAP 零售方案 CAR 系统的介绍与研究
大数据·开发语言·sap·abap·零售·car·bapi
A_Tai233333339 分钟前
MyBatis高级扩展
java·开发语言·mybatis
mubeibeinv40 分钟前
分页/列表分页
java·前端·javascript