Spark-Sql编程(三)

一、数据加载与保存

通用方式:使用spark.read.load和df.write.save,通过format指定数据格式(如csv、jdbc、json等),option设置特定参数(jdbc格式下的url、user等),load和save指定路径。保存时可通过mode设置SaveMode,如ErrorIfExists(默认,文件存在则抛异常)、Append(追加)、Overwrite(覆盖)、Ignore(忽略)。

Parquet:Spark SQL 默认数据源,是嵌套数据的列式存储格式。加载和保存无需format指定,可通过修改spark.sql.sources.default变更默认格式。

JSON:Spark SQL 能自动推测结构并加载为Dataset[Row],读取的 JSON 文件每行应为 JSON 串,可通过SparkSession.read.json加载。

CSV:可配置列表信息,如设置分隔符sep、推断模式inferSchema、指定表头header等。

MySQL:借助 JDBC 读取和写入数据。

1.读取数据

写入数据

二、Spark-SQL连接Hive

内嵌 Hive:可直接使用,但实际生产中很少用。

外部 Hive:

代码操作Hive

相关推荐
仟濹4 小时前
【HTML】基础学习【数据分析全栈攻略:爬虫+处理+可视化+报告】
大数据·前端·爬虫·数据挖掘·数据分析·html
雷神乐乐4 小时前
Oracle正则表达式学习
数据库·sql·oracle·正则表达式
viperrrrrrrrrr76 小时前
大数据学习(125)-hive数据分析
大数据·学习
weixin_472339466 小时前
Hive SQL优化实践:提升大数据处理效率的关键策略
hive·hadoop·sql
仟濹6 小时前
「数据采集与网络爬虫(使用Python工具)」【数据分析全栈攻略:爬虫+处理+可视化+报告】
大数据·爬虫·python·数据挖掘·数据分析
穗余6 小时前
NodeJS全栈开发面试题讲解——P6安全与鉴权
前端·sql·xss
鼓掌MVP7 小时前
软件工程方法论:在确定性与不确定性的永恒之舞中寻找平衡
大数据·软件工程
伊克罗德信息科技7 小时前
基于RPA技术的ECRobot企业智能体解决方案,打通企业自动化业务流程的最后一公里
大数据·人工智能
Elastic 中国社区官方博客7 小时前
Elastic 和 AWS 合作将 GenAI 引入 DevOps、安全和搜索领域
大数据·数据库·elasticsearch·搜索引擎·云计算·全文检索·aws
乱世刀疤7 小时前
深度 |推动公共数据按需有序安全流动
大数据