hive与dolphin笔记

文章目录

  • 一、hive相关
    • [1. 如何增加列](#1. 如何增加列)
    • [2. 如何查看表的具体列的数据类型](#2. 如何查看表的具体列的数据类型)
    • [3. 如何drop一个表](#3. 如何drop一个表)
    • [4. 如何从某个时间点获取它30天前的日期](#4. 如何从某个时间点获取它30天前的日期)
  • 二、dolphin笔记
    • [1. 如何增加前置节点依赖](#1. 如何增加前置节点依赖)

一、hive相关

1. 如何增加列

sql 复制代码
alter table your_table_name
add columns (your_column_name varchar(255));

2. 如何查看表的具体列的数据类型

sql 复制代码
DESCRIBE your_table_name

3. 如何drop一个表

sql 复制代码
drop table your_table_name

4. 如何从某个时间点获取它30天前的日期

假设当前rundate为2024年6月17日

  1. 获取rundate的unix时间戳
sql 复制代码
SELECT  unix_timestamp('${rundate}','yyyyMMdd') as a

执行结果:1718553600

  1. 将unix时间戳转为格式化后的时间类型
sql 复制代码
select from_unixtime(
			unix_timestamp('${rundate}','yyyyMMdd')
       ) as a

执行结果:2024-06-17 00:00:00

  1. 对格式化后的时间进行日期加减操作
sql 复制代码
select date_add(
            from_unixtime(
                unix_timestamp('${rundate}','yyyyMMdd')
            ),
            -30
        )
as a

执行结果:2024-05-18

  1. 将加减操作后的日期转为unix时间戳
sql 复制代码
SELECT  unix_timestamp(
            date_add(
                from_unixtime(
                    unix_timestamp('${rundate}','yyyyMMdd')
                ),
                -30
            ),
            'yyyy-MM-dd'
        )
as a

执行结果:1715961600

  1. 将unix时间戳转为格式化后的日期字符串
sql 复制代码
SELECT from_unixtime(
    unix_timestamp(
        date_add(
            from_unixtime(
                unix_timestamp('${rundate}','yyyyMMdd')
            ),
            -30
        ),
        'yyyy-MM-dd'
    ),'yyyyMMdd'
) as a

执行结果:20240518

用一句话总结上面的所有操作就是:

sql 复制代码
select from_unixtime(unix_timestamp(date_add(from_unixtime(unix_timestamp('${rundate}','yyyyMMdd')),-30),'yyyy-MM-dd'),'yyyyMMdd')
as a

二、dolphin笔记

1. 如何增加前置节点依赖

  1. 在流程图中,右键单击某个已有节点,选择"复制"
  2. 双击新的节点,编辑title节点的新名称
  3. 在"前置任务"中选择需要依赖的前置节点
相关推荐
程序猿 董班长2 天前
springboot配置多数据源(mysql、hive)
hive·spring boot·mysql
XueminXu2 天前
Hive使用Tez引擎出现OOM的解决方法
hive·oom·tez·datagrip·container·outofmemory
KANGBboy5 天前
hive udf 执行一次调用多次问题
数据仓库·hive·hadoop
来杯雀巢咖啡6 天前
ubantu安装配置hive
数据仓库·hive·hadoop
chad__chang8 天前
HIVE的Window functions窗口函数【二】
数据仓库·hive·hadoop
張萠飛8 天前
hive on tez为什么写表时,要写临时文件到hdfs目录
hive·hadoop·hdfs
白日与明月8 天前
Hive中的with子句
数据仓库·hive
步行cgn9 天前
Servlet 注解:简化配置的完整指南
hive·hadoop·servlet
小白不想白a11 天前
【Hadoop】YARN、离线计算框架MapReduce、Hive
大数据·hive·hadoop·mapreduce·yarn
不辉放弃11 天前
为什么hive在处理数据时,有的累加是半累加数据
数据仓库·hive·hadoop