hive与dolphin笔记

hit56实验室2024-06-21 15:03

文章目录

一、hive相关
- [1. 如何增加列](#1. 如何增加列)
- [2. 如何查看表的具体列的数据类型](#2. 如何查看表的具体列的数据类型)
- [3. 如何drop一个表](#3. 如何drop一个表)
- [4. 如何从某个时间点获取它30天前的日期](#4. 如何从某个时间点获取它30天前的日期)
二、dolphin笔记
- [1. 如何增加前置节点依赖](#1. 如何增加前置节点依赖)

一、hive相关

1. 如何增加列

sql 复制代码

alter table your_table_name
add columns (your_column_name varchar(255));

2. 如何查看表的具体列的数据类型

sql 复制代码

DESCRIBE your_table_name

3. 如何drop一个表

sql 复制代码

drop table your_table_name

4. 如何从某个时间点获取它30天前的日期

假设当前rundate为2024年6月17日

获取rundate的unix时间戳

sql 复制代码

SELECT  unix_timestamp('${rundate}','yyyyMMdd') as a

执行结果：1718553600

将unix时间戳转为格式化后的时间类型

sql 复制代码

select from_unixtime(
			unix_timestamp('${rundate}','yyyyMMdd')
       ) as a

执行结果：2024-06-17 00:00:00

对格式化后的时间进行日期加减操作

sql 复制代码

select date_add(
            from_unixtime(
                unix_timestamp('${rundate}','yyyyMMdd')
            ),
            -30
        )
as a

执行结果：2024-05-18

将加减操作后的日期转为unix时间戳

sql 复制代码

SELECT  unix_timestamp(
            date_add(
                from_unixtime(
                    unix_timestamp('${rundate}','yyyyMMdd')
                ),
                -30
            ),
            'yyyy-MM-dd'
        )
as a

执行结果：1715961600

将unix时间戳转为格式化后的日期字符串

sql 复制代码

SELECT from_unixtime(
    unix_timestamp(
        date_add(
            from_unixtime(
                unix_timestamp('${rundate}','yyyyMMdd')
            ),
            -30
        ),
        'yyyy-MM-dd'
    ),'yyyyMMdd'
) as a

执行结果：20240518

用一句话总结上面的所有操作就是：

sql 复制代码

select from_unixtime(unix_timestamp(date_add(from_unixtime(unix_timestamp('${rundate}','yyyyMMdd')),-30),'yyyy-MM-dd'),'yyyyMMdd')
as a

二、dolphin笔记

1. 如何增加前置节点依赖

在流程图中，右键单击某个已有节点，选择"复制"
双击新的节点，编辑title节点的新名称
在"前置任务"中选择需要依赖的前置节点