Spark云计算平台Databricks使用,SQL

创建workspace:Spark云计算平台Databricks使用,创建workspace和Compute计算集群(Spark集群)-CSDN博客

1 创建schema

选择Calalog,点击Create schema

输入名字,Storage location选择workspace,数据都是保存在AWS S3云存储

2 创建Table

选择test,Create -> Create table

点击browse,本地上传people.json文件

bash 复制代码
[
    {"name":"Michael", "age":28},
    {"name":"Andy", "age":30},
    {"name":"Justin", "age":19}
]

点击Create table

创建成功

3 SQL

4 scala查询Table

如何运行Scala程序:Spark云计算平台Databricks使用,第一个scala程序-CSDN博客

Scala代码

Scala 复制代码
var sqlDF = spark.sql("SELECT * FROM test.people")
sqlDF.show()

运行

相关推荐
东鸿电子Eastron3 小时前
工厂节能降本落地指南:从精准能源计量搭建数字化管理基础
大数据·人工智能·能源·智能电表·能耗管理
吾AI科技3 小时前
基于Tez引擎的 Hive SQL 性能优化 —— 为什么脚本运行越来越慢
大数据·hive·性能优化·tez
P1Browser20 小时前
账号触发平台安全审核?拆解标准申诉流程与材料清单
大数据·人工智能·安全·多账号管理·指纹浏览器·账户安全·运营合规
云南新人和数采集团1 天前
云南靠谱软件开发公司选型指南:以昆明新腾科技为例
大数据·人工智能·科技
AllData公司负责人1 天前
AI大模型数据开发底座系列说明书:AllData集成DB-GPT开源项目建设 AI 多模态分析底座,涵盖模态解析/智能大屏/MCP 扩展!
大数据·数据库·人工智能·gpt·数据采集·数据接入·模态解析
Lansonli1 天前
大数据Spark(八十八):Spark任务资源之Standalone集群测试
java·服务器·spark
wno7041 天前
常用的Git命令清单
大数据·git·elasticsearch
YIN_尹2 天前
【git原理与使用】git基本操作及底层原理(二)
大数据·git·elasticsearch
武子康2 天前
H3-World 写了 CPU offload,为什么还不能保证塞进 48GB?
大数据·人工智能·深度学习
演艺大赏2 天前
Doris 数据导出实战:SeaTunnel、EXPORT 与 OUTFILE 性能对比及 9.5 亿行写入故障复盘
大数据