Spark云计算平台Databricks使用,SQL

创建workspace:Spark云计算平台Databricks使用,创建workspace和Compute计算集群(Spark集群)-CSDN博客

1 创建schema

选择Calalog,点击Create schema

输入名字,Storage location选择workspace,数据都是保存在AWS S3云存储

2 创建Table

选择test,Create -> Create table

点击browse,本地上传people.json文件

bash 复制代码
[
    {"name":"Michael", "age":28},
    {"name":"Andy", "age":30},
    {"name":"Justin", "age":19}
]

点击Create table

创建成功

3 SQL

4 scala查询Table

如何运行Scala程序:Spark云计算平台Databricks使用,第一个scala程序-CSDN博客

Scala代码

Scala 复制代码
var sqlDF = spark.sql("SELECT * FROM test.people")
sqlDF.show()

运行

相关推荐
weixin_307779135 小时前
Azure Data Factory ETL设计与调度最佳实践
数据仓库·性能优化·云计算·azure·etl
瞎胡侃6 小时前
Spark读取Apollo配置
大数据·spark·apollo
悻运7 小时前
如何配置Spark
大数据·分布式·spark
懒惰的橘猫7 小时前
Spark集群搭建之Yarn模式
大数据·分布式·spark
2401_824256867 小时前
Spark-Streaming
大数据·分布式·spark
胡耀超7 小时前
附1:深度解读:《金融数据安全 数据安全分级指南》——数据分类的艺术专栏系列
大数据·金融·数据治理·生命周期·数据分类·政策法规
合新通信 | 让光不负所托7 小时前
【合新通信】浸没式液冷光模块与冷媒兼容性测试技术报告
大数据·网络·光纤通信
元6338 小时前
spark和hadoop之间的对比和联系
大数据·hadoop·spark
Leon-zy8 小时前
【云计算】云计算中IaaS、PaaS、SaaS介绍
云原生·云计算·paas
cooldream20098 小时前
深入解析大数据的Lambda架构:设计、特点与应用场景
大数据·架构·系统架构师