sparkSQL读取数据的方式

Spark SQL 提供了多种灵活的数据读取方式，支持多种数据源格式。以下是核心读取方法及示

linux环境下，按照如下方式进行

进入目录

cd /opt/installs/anaconda3/lib/python3.8/site-packages/pyspark/jars

上传jar包：mysql-connector-java-5.1.32.jar

例：

1. 从文件读取

(1) CSV 文件

df = spark.read \
    .format("csv") \
    .option("header", "true") \  # 包含标题行
    .option("inferSchema", "true") \  # 自动推断数据类型
    .load("/path/to/file.csv")

(2) JSON 文件

df = spark.read \
    .format("json") \
    .load("/path/to/file.json")

(3) Parquet 文件 (列式存储)

df = spark.read \
    .format("parquet") \
    .load("/path/to/file.parquet")

(4) ORC 文件

df = spark.read \
    .format("orc") \
    .load("/path/to/file.orc")

---

2. 从 JDBC 数据库读取

df = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:mysql://host:port/db") \
    .option("dbtable", "table_name") \
    .option("user", "username") \
    .option("password", "password") \
    .load()

---

3. 从 Hive 表读取

df = spark.sql("SELECT * FROM hive_database.table_name")

---

4. 通用读取方法

支持通过格式名直接调用：

# 等效方法
df = spark.read.csv("/path/to/file.csv", header=True)
df = spark.read.json("/path/to/file.json")
df = spark.read.parquet("/path/to/file.parquet")

---

5. 高级配置选项

参数	说明	示例值
sep	分隔符 (CSV)	";"
encoding	文件编码	"UTF-8"
mergeSchema	合并多个 Parquet 文件的 Schema	"true"
query	JDBC 自定义查询语句	"(SELECT col1 FROM t)"

---

6. 示例：读取带特殊配置的 CSV

df = spark.read \
    .option("sep", "|") \  # 管道分隔符
    .option("nullValue", "N/A") \  # 自定义空值标识
    .option("dateFormat", "yyyy-MM-dd") \  # 日期格式
    .csv("/data/sales_records.csv")

最佳实践

• 优先使用 Parquet/ORC 等列式格式提升性能
• 大数据集避免 inferSchema，显式定义 Schema
• JDBC 连接添加 fetchsize 优化吞吐量