Spark,IDEA编写Maven项目

IDEA中编写Maven项目

1.打开IDEA新建项目

2.选择java语言,构建系统选择Maven

3.IDEA中配置Maven

注: 这些文件都是我们老师帮我们在网上找了改动后给我们的,大家可自行在网上查找

编写代码测试HDFS连接

1.在之前创建的pom.xml文件中添加下列代码

复制代码
<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.1.3</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>1.7.30</version>
    </dependency>
</dependencies>

**注:**这里的dependencies要这一步中的hadoop-client要和我们前面客户端准备中下载的hadoop保持一致。

2.配置日志信息。在项目的src/main/resources目录下,新建一个文件,命名为"log4j.properties"。

在文件中填入如下配置信息:

复制代码
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

3.创建包为org.example,并在下面创建Main类

编写代码如下:

复制代码
package org.example;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URISyntaxException;

public class Main {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://hadoop100:8020"); // hadoop100是namenode所在的节点
        conf.set("hadoop.job.ugi", "root");
        FileSystem fs = FileSystem.get(conf);
        FileStatus[] fileStatuses = fs.listStatus(new Path("/"));

        // 打印文件信息
        System.out.println("根目录下的文件和目录信息:");
        for (FileStatus fileStatus : fileStatuses) {
            System.out.println("路径: " + fileStatus.getPath());
        }
        fs.close();
    }
}

4.运行

如果程序执行没有错误,就会打印出如下目录

相关推荐
AI源码20 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
星落梦生1 天前
Maven高级(9)
java·maven
小毛球.2 天前
第 3 篇:IDEA 最新版下载与完整安装教程(Mac)
java·macos·intellij-idea·idea
张紫娃3 天前
idea 如何看一个类的 .class 文件
java·ide·intellij-idea
开开心心就好4 天前
两张表格数据对比工具,不用写函数也能查
算法·spring·智能手机·pdf·电脑·intellij-idea·音视频
starzy19905 天前
Structured Streaming 结构化流概述:把流数据当作一张无限增长的表
大数据·spark
薛之谦_5 天前
Java 全栈知识体系:从 IDEA 高效开发到 JVM、并发与 Stream 实战
java·jvm·intellij-idea
Lansonli7 天前
大数据Spark(八十八):Spark任务资源之Standalone集群测试
java·服务器·spark
sxlishaobin8 天前
Maven Setting详解
java·学习·maven
Lansonli9 天前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark