Spark云计算平台Databricks使用,SQL

创建workspace:Spark云计算平台Databricks使用,创建workspace和Compute计算集群(Spark集群)-CSDN博客

1 创建schema

选择Calalog,点击Create schema

输入名字,Storage location选择workspace,数据都是保存在AWS S3云存储

2 创建Table

选择test,Create -> Create table

点击browse,本地上传people.json文件

bash 复制代码
[
    {"name":"Michael", "age":28},
    {"name":"Andy", "age":30},
    {"name":"Justin", "age":19}
]

点击Create table

创建成功

3 SQL

4 scala查询Table

如何运行Scala程序:Spark云计算平台Databricks使用,第一个scala程序-CSDN博客

Scala代码

Scala 复制代码
var sqlDF = spark.sql("SELECT * FROM test.people")
sqlDF.show()

运行

相关推荐
8K超高清3 分钟前
超高清科技引爆中国电影向“新”力
大数据·运维·服务器·网络·人工智能·科技
弘毅 失败的 mian6 分钟前
Git 基本操作
大数据·经验分享·笔记·git·elasticsearch
路边草随风7 分钟前
flink实现写orc对数据进行分目录(分区表)写入
java·大数据·flink
Jerry.张蒙29 分钟前
SAP传输请求流程:从开发到生产的安全流转
大数据·网络·人工智能·学习·职场和发展·区块链·运维开发
weixin_3077791340 分钟前
基于AWS Global Accelerator和ECS Fargate的最小化延迟与快速故障转移架构
容器·云计算·aws
LDG_AGI41 分钟前
【推荐系统】深度学习训练框架(六):PyTorch DDP(DistributedDataParallel)数据并行分布式深度学习原理
人工智能·pytorch·分布式·python·深度学习·算法·spark
risc1234561 小时前
【Elasticsearch】迁出节点”≠“恢复源节点
大数据·elasticsearch·搜索引擎
乐迪信息1 小时前
乐迪信息:皮带区域安全值守:AI摄像机杜绝煤矿人员闯入
大数据·运维·人工智能·安全·计算机视觉
渣渣盟1 小时前
Flink数据流高效写入HBase实战
大数据·flink·scala·apache·hbase
济南java开发,求内推1 小时前
AWS 对接
云计算·aws