大数据 - Spark系列《二》- 关于Spark在Idea中的一些常用配置

上一篇:

大数据 - Spark系列《一》- 从Hadoop到Spark:大数据计算引擎的演进-CSDN博客

目录

[1. 🥙Idea中配置Live Templates来快速生成代码片段](#1. 🥙Idea中配置Live Templates来快速生成代码片段)

[2. 🥙Idea中配置文件模板自定义初始代码](#2. 🥙Idea中配置文件模板自定义初始代码)

3.🥙设置spark-submit提交程序时不在控制台打印日志信息


1. 🥙Idea中配置Live Templates来快速生成代码片段

下面是如何配置Live Templates来创建Spark对象的示例:

  1. 打开IntelliJ IDEA,转到或Settings(Windows/Linux)。

  2. 在设置对话框中,选择Editor - Live Templates。

  3. 单击右侧的加号图标,选择Live Template。

  4. 在弹出的对话框中,输入模板的缩写(Abbreviation)和描述(Description),例如sc2。

  5. 在Template Text框中输入模板的文本,例如:

    // 创建SparkConf对象,并设置应用程序名称和运行模式
    val conf = new SparkConf()
    .setAppName("Starting...") // 设置应用程序名称
    .setMaster("local[*]") // 设置运行模式为本地模式

    // 创建SparkContext对象,并传入SparkConf对象
    val sc = new SparkContext(conf)

新建一个实例

2. 🥙Idea中配置文件模板自定义初始代码

在IntelliJ IDEA中配置每个新生成的文件的代码模板(File Templates)可以让您自定义每个新文件的初始代码。以下是配置步骤:

1)打开IntelliJ IDEA,转到Settings(Windows/Linux)。

2)在设置对话框中,选择Editor - File and Code Templates。

3)在顶部选项卡中选择File Templates。

4)在右侧窗格中,您可以看到当前可用的文件模板列表。选择Includes标签页下的File Header。

5)在文本编辑器中,您可以看到文件头部注释的默认模板。在这里,您可以编辑或添加您想要的注释内容。在您的情况下,您可以粘贴您的注释模板,类似于以下内容:

复制代码
/**
 * @日期: 2024/1/31
 * @Author: Wang NaPao
 * @Blog: https://blog.csdn.net/weixin_40968325?spm=1018.2226.3001.5343
 * @Tips: 和我一起学习吧
 * @Description:
 */

**3.🥙**设置spark-submit提交程序时不在控制台打印日志信息

在用spark-submit提交程序时,会打印很多类似图片所示的日志信息,它们会把想要的结果给淹没,所以要想法子去除控制台的日志信息

解决办法: 在程序中设置日志级别。

复制代码
Logger.getLogger("org.apache.spark").setLevel(Level.WARN)

关于setLevel()中的参数:

|--------------|-------------|-----------------------|
| LogLevel | Level | Use |
| OFF | 2147483647 | 关闭所有日志记录 |
| FATAL | 50000 | 如其翻译,致命的错误 |
| ERROR | 40000 | 错误信息提示,一般需要 Try Catch |
| WARN | 30000 | 潜在错误提示 |
| INFO | 20000 | 正常日志信息 |
| DEBUG | 10000 | 细粒度日志,用于应用调试 |
| TRACE | 5000 | 比调试更细粒度的日志信息 |
| ALL | -2147483648 | 打开所有日志记录 |

测试-

复制代码
package com.doit.com.doit.day0128

import org.apache.spark.{SparkConf, SparkContext}

import org.apache.log4j.{Level, Logger}
/**
 * @日期: 2024/1/29
 * @Author: Wang NaPao
 * @Blog: https://blog.csdn.net/weixin_40968325?spm=1018.2226.3001.5343
 * @Tips: 我是技术大牛
 * @Description:
 */


object Test05 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("doe").setMaster("local[*]")
    val sc = new SparkContext(conf)
   Logger.getLogger("org.apache.spark").setLevel(Level.WARN)

    val rdd1 = sc.makeRDD(1 to 5, 2)
    val rdd2 = sc.makeRDD(Seq("A", "B", "C", "D", "E"), 2)
    val rdd3 = sc.makeRDD(Seq("A", "B", "C", "D", "E"), 3)

    println(rdd1.zip(rdd2).collect().toList)
    println(rdd2.zip(rdd1).collect().toList)
   

   // println(rdd1.zip(rdd3).collect().toList)


  }
}

相关推荐
小毛球.17 小时前
第 3 篇:IDEA 最新版下载与完整安装教程(Mac)
java·macos·intellij-idea·idea
大大大大晴天21 小时前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云21 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
张紫娃1 天前
idea 如何看一个类的 .class 文件
java·ide·intellij-idea
演艺大赏1 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata1 天前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒1 天前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
回眸&啤酒鸭1 天前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
伞伞悦读1 天前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习
金融小师妹1 天前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融