大数据——Spark SQL

1、Spark SQL是什么

Spark SQL是Spark中用于处理结构化数据的一个模块,前身是Shark,但本身继承了前身Hive兼容和内存列存储的一些优点。Spark SQL具有以下四个特点:

  1. 综合性(Integrated):Spark中可以加入SQL查询,也可以使用DataFrame API,其中API提供了多种语言选择,Python、R、Java和Scala都支持。
  2. 连接统一性(Uniform Data Access):使用相同的方式连接不同的数据源(Hive、Json和JDBC等等)。
  3. Hive兼容性:能够在已有数据仓库中执行SQL或者Hive查询
  4. 标准化连接(Standard Connectivity):提供了JDBC或者ODBC的数据接口,可以给其他BI工具使用。

Spark SQL的优点

  1. 代码量少:可以直接写SQL语句或者DataFrame 。
  2. 性能更高:在使用DataFrame API时,DataFrame转成RDD时,会进行代码优化,执行效率更高;Spark SQL代码的RDD还行效率比Python、Java等编写的RDD效率高。

2、DataFrame简介

Spark中DataFrame是⼀个分布式的⾏集合,可以想象为⼀个关系型数据库的表,或者⼀个带有列名的Excel表格。不过它跟RDD有以下共同之处:

  • 不可变(Immuatable):跟RDD一样,一旦创建就不能更改你,只能通过transformation生成新的DataFrame;
  • 懒加载(Lazy Evaluations):只有action才会让transformation执行;
  • 分布式(Distributed):也是分布式的。

DataFrame跟RDD的比较

DataFrame RDD
逻辑框架 提供详细结构信息,例如列的名称和类型 不知道类的内部结构
数据操作 API更丰富、效率更高 代码少时,速度更快

DataFrame API常用代码

DataFrame的API也分为transformation和action两类

  • transformation 延迟操作
  • action 立即操作
  1. 创建SparkSession对象
python 复制代码
SparkSession.builder.master("local") \
... appName("Word Count") \
... getOrCreate()
# Builder 是 SparkSession 的构造器。 通过 Builder, 可以添加各种配置
# master (master)设置要链接到的spark master节点地址, 传⼊ "local" 代表本地模式, "local[4]"代表本地模式4内核运⾏
# appName (name)为Spark应⽤设置名字
# getOrCreate ()获取⼀个已经存在的 SparkSession 或者如果没有已经存在的, 创建⼀个新的SparkSession
  1. 通过SparkSession创建DataFrame
python 复制代码
 sparkSession.createDataFrame
  1. 读取文件生成DataFrame
python 复制代码
# json格式
spark.read.json("xxx.json")
spark.read.format('json').load('xxx.json')
# parquet格式
spark.read.parquet("xxx.parquet")
# jdbc格式
spark.read.format("jdbc").option("url","jdbc:mysql://localhost:3306/db_name")\
.option("dbtable","table_name").option("user","xxx").option("password","xxx").load()
  1. 基于RDD创建DataFrame
python 复制代码
# rdd中读取数据
    spark = SparkSession.builder.master('local').appName('Test').getOrCreate()
    sc = spark.sparkContext
    list1 =  [('Ankit',25),('Jalfaizy',22),('saurabh',20),('Bala',26)]
    rdd = sc.parallelize(list1)
    # 添加数据列名
    people = rdd.map(lambda x:Row(name=x[0], age=int(x[1])))
    # 创建DataFrame
    df_pp = spark.createDataFrame(people)
    print(df_pp.show(2))
  1. 从CSV文件中读取数据
python 复制代码
# # rdd中读取数据
spark = SparkSession.builder.master('local').appName('Test').getOrCreate()
df = spark.read.format('csv').option('header','true').load('iris.csv')
df.printSchema()
df.show(5)
print(df.count())
print(df.columns)
  1. 增加列、删除列和提取部分列
python 复制代码
# 增加列
df.withColumn('newWidth', df.SepalWidth*2).show()

# 删除列
df.drop('cls').show()

# 提取部分列
df.select('SepalLength','SepalWidth').show()
  1. 统计信息、基本统计功能和分组统计
python 复制代码
#统计信息 describe
df.describe().show()
#计算某⼀列的描述信息
df.describe('cls').show() 
# 基本统计信息
df.select('cls').distinct().count()
# 分组统计 
df.groupby('cls').agg({'SepalWidth':'mean','SepalLength':'max'}).show()
# avg(), count(), countDistinct(), first(), kurtosis(),
# max(), mean(), min(), skewness(), stddev(), stddev_pop(),
# stddev_samp(), sum(), sumDistinct(), var_pop(), var_samp() and variance()
  1. 采集数据、拆分数据集和查看两个数据集的差异
python 复制代码
# ================采样数据 sample===========
#withReplacement:是否有放回的采样
#fraction:采样⽐例
#seed:随机种⼦
sdf = df.sample(False,0.2,100)

#设置数据⽐例将数据划分为两部分
trainDF, testDF = df.randomSplit([0.6, 0.4])

#查看两个数据集在类别上的差异 subtract,确保训练数据集覆盖了所有分类
diff_in_train_test = testDF.select('cls').subtract(trainDF.select('cls'))
diff_in_train_test.distinct().count()
  1. 自定义函数和交叉表
python 复制代码
# 交叉表 crosstab
df.crosstab('cls','SepalLength').show()

# 自定义函数UDF
# 找到数据,做后续处理
traindf, testdf = df.randomSplit([0.7,0.3])
diff_in_train_test = testdf.select('cls').subtract(traindf.select('cls')).distinct().show()
# 找到类,整理到一个列表中
not_exist_cls = traindf.select('cls').subtract(testdf.select('cls')).distinct().rdd.map(lambda x:x[0]).collect()

# 定义一个方法
def shou_remove(x):
    if x in not_exist_cls:
        return -1
    else:
        return x
# 在RDD中可以直接定义函数,交给rdd的transformatioins⽅法进⾏执⾏
# 在DataFrame中需要通过udf将⾃定义函数封装成udf函数再交给DataFrame进⾏调⽤执⾏
from pyspark.sql.types import StringType
from pyspark.sql.functions import udf

check = udf(shou_remove, StringType())
resultdf = traindf.withColumn('new_cls',check(traindf['cls'])).filter('new_cls<>-1')

resultdf.show()
  1. 加载json的API

1)以通过反射⾃动推断DataFrame的Schema

python 复制代码
# 1) json→RDD→DataFrame
spark = SparkSession.builder.appName('json_demo').getOrCreate()
sc = spark.sparkContext

jsonString =  [
"""{ "id" : "01001", "city" : "AGAWAM", "pop" : 15338, "state" : "MA" }""",
"""{ "id" : "01002", "city" : "CUSHMAN", "pop" : 36963, "state" : "MA" }"""
]
jsonrdd = sc.parallelize(jsonString) # json 2 rdd
jsondf = spark.read.json(jsonrdd) #rdd 2 dataframe
jsondf.printSchema()
jsondf.show()

# 2) 直接从文件中加载
spark = SparkSession.builder.appName('json_demo').getOrCreate()
sc = spark.sparkContext

jsondf = spark.read.json('zips.json')
jsondf.printSchema()
jsondf.filter(jsondf.pop>40000).show(10)
jsondf.createOrReplaceTempView('temp_table')
resulfdf = spark.sql('select * from temp_table where pop>40000')
resulfdf.show(10)

2)通过StructType对象指定Schema

python 复制代码
spark = SparkSession.builder.appName('json_demo').getOrCreate()
    sc = spark.sparkContext
    jsonSchema = StructType([
     StructField("id", StringType(), True),
     StructField("city", StringType(), True),
     StructField("loc" , ArrayType(DoubleType())),
     StructField("pop", LongType(), True),
     StructField("state", StringType(), True)
    ])
    reader = spark.read.schema(jsonSchema)
    jsondf = reader.json('zips.json')
    jsondf.printSchema()
    jsondf.show(2)
    jsondf.filter(jsondf.pop>40000).show(10)
相关推荐
Elastic 中国社区官方博客43 分钟前
如何将数据从 AWS S3 导入到 Elastic Cloud - 第 3 部分:Elastic S3 连接器
大数据·elasticsearch·搜索引擎·云计算·全文检索·可用性测试·aws
Aloudata2 小时前
从Apache Atlas到Aloudata BIG,数据血缘解析有何改变?
大数据·apache·数据血缘·主动元数据·数据链路
水豚AI课代表2 小时前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
成富4 小时前
文本转SQL(Text-to-SQL),场景介绍与 Spring AI 实现
数据库·人工智能·sql·spring·oracle
songqq274 小时前
SQL题:使用hive查询各类型专利top 10申请人,以及对应的专利申请数
数据库·sql
拓端研究室TRL5 小时前
【梯度提升专题】XGBoost、Adaboost、CatBoost预测合集:抗乳腺癌药物优化、信贷风控、比特币应用|附数据代码...
大数据
黄焖鸡能干四碗5 小时前
信息化运维方案,实施方案,开发方案,信息中心安全运维资料(软件资料word)
大数据·人工智能·软件需求·设计规范·规格说明书
编码小袁5 小时前
探索数据科学与大数据技术专业本科生的广阔就业前景
大数据
WeeJot嵌入式6 小时前
大数据治理:确保数据的可持续性和价值
大数据
zmd-zk7 小时前
kafka+zookeeper的搭建
大数据·分布式·zookeeper·中间件·kafka