SparkSQL和Hive语法差异

SparkSQL和Hive语法差异

1、仅支持Hive

  1. SparkSQL关联条件on不支持函数rand()
  2. 创建零时表时,Spark不支持直接赋值null
  3. Spark无法读取字段类型为void的表
  4. SparkSQL中如果表达式没有指定别名,SparkSQL会将整个表达式作为别名,如果表达式中包含特殊字符(如逗号)。则CTAS建表会失败

2、仅支持SparkSQL

SparkSQL允许在join on条件中使用or等不等式值关联语句,Hive中不允许,只能用等值关联

3、相同函数差异

  1. Spark运行时用到的hash函数,与hive的哈希算法不同,如果使用hash(),结果和hive的hash()会有差异
  2. Hive和sparkSQL使用grouping sets生成的grouping_id不一致
  3. regexp_extract未匹配上的话,hive里回的是null,但是在spark里返回的是空字符
  4. sparkSQL中的row_number的over中不能省略sort by 或order by
  5. grouping_id()函数生成的数据不同
  6. reflect()函数中,如果入参有非法数据或者null,hive会返回null,而spark会抛出异常

创建DataFrame

Row 类型 表示一行数据

  • datafram就算是多行构成

    Row行数据操作

    导入行类

    from pyspark.sql import Row
    定义每行数据 有两种获取方法=重点
    r1 = Row(id=1,name='张三')
    r2 = Row(id=2,name='李四')

    操作每行数据

    获取对应字段数据

    print(r1.id)
    print(r1.name)
    print(r2['id'])
    print(r2['name'])

    复制代码
      						定义行数据不指定字段 = 只有一种获取方法

    r3 = Row(3,'王五')
    print(r3[1])

    df.printSchema()

schema表信息(这种指定表信息的更不常用)

  • 定义dataframe中的表的字段名和字段类型

    导入数据类型

    from pyspark.sql.types import *

    定义schema信息

    使用StructType类进行定义

    add()方法是指定字段信息

    第一参数,字段名

    第二个参数,字段信息

    第三个参数是否允许为空值 默认是True,允许为空

    schema_type = StructType().
    add('id',IntegerType()).
    add('name',StringType()).
    add('age',IntegerType(),False)

    df.printSchema()

    导入行类Row

    from pyspark.sql import SparkSession, Row
    from pyspark.sql.types import *

    创建行数据

    r1 = Row(id=1, name='张三', age=20)
    r2 = Row(id=2, name='李四', age=22)

    创建元数据

    schema = StructType().
    add('id', IntegerType()).
    add('name', StringType()).
    add('age', IntegerType())

    创建dataframe

    生成sparksession对象 按照固定写法创建

    ss = SparkSession.builder.getOrCreate()

    使用sparksession对象方法创建df

    createDataFrame 第一参数是一个列表数据,将每行数据放入列表

    第二个参数指定表元数据信息

    df是一个dataframe类型的对象

    df = ss.createDataFrame([r1, r2], schema=schema)

    dataframe数据的操作

    查看df数据

    df.show() # 查看所有数据,超过20行时,默认只显示20行

    查看元信息

    df.printSchema()

相关推荐
国科安芯12 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
DataY轻量数据平台1 天前
任务调度的三种模式:什么时候跑、按什么顺序跑、等谁跑完
数据仓库·etl
演艺大赏1 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
宽海智能仓储物流1 天前
宽海智能WCS系统常见问题全解析:从选型对接、运维定制到降本增效
运维·数据仓库·自动化
西木Qi1 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding1 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
starzy19901 天前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
stark张宇2 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
演艺大赏3 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏3 天前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase