hive/spark用法记录

1. cast()更改数据类型

cast(column_name as type)

2. get_dt_date()自定义日期操作函数(返回不带横线的日期)

select get_dt_date();--获取当前日期,返回 20170209

select get_dt_date(get_date(-2));--获取当前日期偏移,转为不带横杆的格式

select get_dt_date('2017-02-02',-2);--20170131

3.ROW_NUMBER(),它为结果集的分区中的每一行分配一个连续的整数。 行号以每个分区中第一行的行号开头。

sql 复制代码
ROW_NUMBER() OVER (
    [PARTITION BY partition_expression, ... ]
    ORDER BY sort_expression [ASC | DESC], ...
)

PARTITION BY子句将结果集划分为分区。 ROW_NUMBER()函数分别应用于每个分区,并重新初始化每个分区的行号。PARTITION BY子句是可选的。如果未指定,ROW_NUMBER()函数会将整个结果集视为单个分区。ORDER BY子句定义结果集的每个分区中的行的逻辑顺序。 ORDER BY子句是必需的,因为ROW_NUMBER()函数对顺序敏感。

4.根据分区查询partitions where

5.插入或覆写数据(INSERT INTO | INSERT OVERWRITE)

执行insert into和insert overwrite操作前需要具备目标表的修改权限(Alter)及源表的元信息读取权限(Describe)。授权操作请参见权限列表

6. 千分位函数percentile(), percentile_approx()

原理点击上面链接

使用方法:1.
2.

7. row_number() over (order by column_name)输出结果会基于order by排序

sql 复制代码
select table.*,row_number() over (order by score)  as rank
from
    (
        select * from table1
		limit 100
) table2

8.extend['dict'] as dict_name

extend把原本是字典的序列扩展成新的一列

比如

user_id gender
1 gender:female
2 gender:male
sql 复制代码
extend['gender'] as gender
|  user_id | gender  |
|     1    |  female |
|     2    |  male  |

9. ${yyyyMMdd,1, day}'

1表示加一天,比如输入 20220801,那么上面的变量出来的日期为20220802;

而如果是-1,则表示往前一天,比如输入20220801,那么上面的变量出来的日期为20220731

10. spark.sql.autoBroadcastJoinThreshold、spark.sql.broadcastTimeout

这个目前还不太清楚具体场景,记录下

属性 默认值 描述
spark.sql.broadcastTimeout 300 广播等待超时时间,单位秒
spark.sql.autoBroadcastJoinThreshold 10485760 (10 MB) 最大广播表的大小。设置为-1可以禁止该功能。当前统计信息仅支持Hive Metastore表
相关推荐
大数据CLUB5 小时前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
计算机编程小央姐7 小时前
跟上大数据时代步伐:食物营养数据可视化分析系统技术前沿解析
大数据·hadoop·信息可视化·spark·django·课程设计·食物
孟意昶11 小时前
Spark专题-第一部分:Spark 核心概述(2)-Spark 应用核心组件剖析
大数据·spark·big data
IT学长编程12 小时前
计算机毕业设计 基于Hadoop的健康饮食推荐系统的设计与实现 Java 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
java·大数据·hadoop·毕业设计·课程设计·推荐算法·毕业论文
智海观潮15 小时前
Spark SQL | 目前Spark社区最活跃的组件之一
大数据·spark
Lx35215 小时前
Hadoop数据一致性保障:处理分布式系统常见问题
大数据·hadoop
IT学长编程16 小时前
计算机毕业设计 基于Hadoop豆瓣电影数据可视化分析设计与实现 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试
大数据·hadoop·python·django·毕业设计·毕业论文·豆瓣电影数据可视化分析
盛源_0116 小时前
hadoop的api操作对象存储
hdfs·spark
Dobby_0517 小时前
【Hadoop】Yarn:Hadoop 生态的资源操作系统
大数据·hadoop·分布式·yarn
笨蛋少年派17 小时前
安装Hadoop中遇到的一些问题和解决
大数据·hadoop·分布式