Spark-Sql编程(三)

一、数据加载与保存

通用方式:使用spark.read.load和df.write.save,通过format指定数据格式(如csv、jdbc、json等),option设置特定参数(jdbc格式下的url、user等),load和save指定路径。保存时可通过mode设置SaveMode,如ErrorIfExists(默认,文件存在则抛异常)、Append(追加)、Overwrite(覆盖)、Ignore(忽略)。

Parquet:Spark SQL 默认数据源,是嵌套数据的列式存储格式。加载和保存无需format指定,可通过修改spark.sql.sources.default变更默认格式。

JSON:Spark SQL 能自动推测结构并加载为Dataset[Row],读取的 JSON 文件每行应为 JSON 串,可通过SparkSession.read.json加载。

CSV:可配置列表信息,如设置分隔符sep、推断模式inferSchema、指定表头header等。

MySQL:借助 JDBC 读取和写入数据。

1.读取数据

写入数据

二、Spark-SQL连接Hive

内嵌 Hive:可直接使用,但实际生产中很少用。

外部 Hive:

代码操作Hive

相关推荐
何以不说话13 分钟前
堡垒机jumpserver
运维·sql
小W与影刀RPA17 分钟前
【影刀RPA】:智能过滤敏感词,高效输出表格
大数据·人工智能·python·低代码·自动化·rpa·影刀rpa
远方160922 分钟前
112-Oracle database 26ai下载和安装环境准备
大数据·数据库·sql·oracle·database
2501_947908201 小时前
范建峰携手安盛投资 助力普惠金融惠及更多民生领域
大数据·人工智能·金融
YangYang9YangYan1 小时前
2026高职大数据专业数据分析学习必要性
大数据·学习·数据分析
nimadan121 小时前
**AI漫剧剧本写作工具2025推荐,三款适配不同创作场景的
大数据·人工智能·python
白帽子凯哥哥1 小时前
网络安全Web基础完全指南:从小白到入门安全测试
前端·sql·web安全·信息安全·渗透测试·漏洞
亿信华辰软件1 小时前
已经上了数据中台,还要做数据治理吗?
大数据·人工智能·数据治理
阿拉伯柠檬1 小时前
Git原理与使用(一)
大数据·linux·git·elasticsearch·面试
亿信华辰软件1 小时前
药企客商域主数据管理实践与挑战
大数据