Spark使用Java读取Mysql

在Apache Spark中使用Java来读取MySQL数据库中的数据，你需要使用JDBC（Java Database Connectivity）来连接MySQL，并且通常你会使用Spark的JdbcRDD或者DataFrameReader（通过Spark SQL）来读取数据。不过，需要注意的是，JdbcRDD在较新版本的Spark中已经被弃用，因此推荐使用Spark SQL的DataFrameReader。

以下是一个使用Spark SQL的DataFrameReader和Java来读取MySQL数据库的示例步骤：

添加依赖 ：

首先，确保你的项目中包含了MySQL JDBC驱动和Spark SQL的依赖。如果你使用Maven，可以在pom.xml中添加如下依赖：

xml 复制代码

<!-- MySQL JDBC Driver -->
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.x</version> <!-- 使用你需要的版本 -->
</dependency>

<!-- Spark SQL -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.12</artifactId>
    <version>3.x.x</version> <!-- 使用你需要的Spark版本 -->
</dependency>

注意替换8.0.x和3.x.x为你需要的版本。

编写Java代码 ：

使用DataFrameReader来读取MySQL中的数据：

java 复制代码

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class SparkJdbcExample {

    public static void main(String[] args) {
        // 创建一个SparkSession
        SparkSession spark = SparkSession
                .builder()
                .appName("Java Spark SQL MySQL Example")
                .master("local[*]") // 使用本地模式，或者设置为你的集群管理器URL
                .getOrCreate();

        // MySQL JDBC连接参数
        String jdbcUrl = "jdbc:mysql://localhost:3306/your_database";
        String connectionProperties = "user=your_username&password=your_password";

        // 读取MySQL表中的数据
        Dataset<Row> df = spark.read()
            .format("jdbc")
            .option("url", jdbcUrl)
            .option("dbtable", "your_table") // 你要读取的表名
            .option("user", "your_username")
            .option("password", "your_password")
            .load();

        // 显示前几行数据
        df.show();

        // 停止SparkSession
        spark.stop();
    }
}

请确保将your_database、your_table、your_username和your_password替换为你MySQL数据库的实际信息。

运行程序 ：

编译并运行你的Java程序。你应该能够看到你的MySQL表中的数据被读取并显示在你的控制台或你选择的输出位置。

注意：在生产环境中，你可能需要配置更复杂的连接参数，如SSL、连接池等。同时，处理敏感信息（如密码）时要特别小心，确保不要将敏感信息硬编码在代码中，而是使用环境变量或配置文件来管理这些敏感信息。