hive与dolphin笔记

文章目录

  • 一、hive相关
    • [1. 如何增加列](#1. 如何增加列)
    • [2. 如何查看表的具体列的数据类型](#2. 如何查看表的具体列的数据类型)
    • [3. 如何drop一个表](#3. 如何drop一个表)
    • [4. 如何从某个时间点获取它30天前的日期](#4. 如何从某个时间点获取它30天前的日期)
  • 二、dolphin笔记
    • [1. 如何增加前置节点依赖](#1. 如何增加前置节点依赖)

一、hive相关

1. 如何增加列

sql 复制代码
alter table your_table_name
add columns (your_column_name varchar(255));

2. 如何查看表的具体列的数据类型

sql 复制代码
DESCRIBE your_table_name

3. 如何drop一个表

sql 复制代码
drop table your_table_name

4. 如何从某个时间点获取它30天前的日期

假设当前rundate为2024年6月17日

  1. 获取rundate的unix时间戳
sql 复制代码
SELECT  unix_timestamp('${rundate}','yyyyMMdd') as a

执行结果:1718553600

  1. 将unix时间戳转为格式化后的时间类型
sql 复制代码
select from_unixtime(
			unix_timestamp('${rundate}','yyyyMMdd')
       ) as a

执行结果:2024-06-17 00:00:00

  1. 对格式化后的时间进行日期加减操作
sql 复制代码
select date_add(
            from_unixtime(
                unix_timestamp('${rundate}','yyyyMMdd')
            ),
            -30
        )
as a

执行结果:2024-05-18

  1. 将加减操作后的日期转为unix时间戳
sql 复制代码
SELECT  unix_timestamp(
            date_add(
                from_unixtime(
                    unix_timestamp('${rundate}','yyyyMMdd')
                ),
                -30
            ),
            'yyyy-MM-dd'
        )
as a

执行结果:1715961600

  1. 将unix时间戳转为格式化后的日期字符串
sql 复制代码
SELECT from_unixtime(
    unix_timestamp(
        date_add(
            from_unixtime(
                unix_timestamp('${rundate}','yyyyMMdd')
            ),
            -30
        ),
        'yyyy-MM-dd'
    ),'yyyyMMdd'
) as a

执行结果:20240518

用一句话总结上面的所有操作就是:

sql 复制代码
select from_unixtime(unix_timestamp(date_add(from_unixtime(unix_timestamp('${rundate}','yyyyMMdd')),-30),'yyyy-MM-dd'),'yyyyMMdd')
as a

二、dolphin笔记

1. 如何增加前置节点依赖

  1. 在流程图中,右键单击某个已有节点,选择"复制"
  2. 双击新的节点,编辑title节点的新名称
  3. 在"前置任务"中选择需要依赖的前置节点
相关推荐
houzhizhen1 天前
HiveMetastore 的架构简析
hive
数据要素X1 天前
【数据仓库】Hive 拉链表实践
大数据·数据库·数据仓库·人工智能·hive·hadoop·安全
LiamTuc2 天前
远程访问,通过JDBC连接到Beeline对Hive进行操作报错
数据仓库·hive·hadoop
songqq272 天前
sql中判断一个字段是否包含一个数据的方法有哪些?
数据库·hive·sql
zmd-zk2 天前
sql在hive和阿里云maxComputer的区别
数据库·hive·sql
油头少年_w2 天前
Hive操作库、操作表及数据仓库的简单介绍
数据仓库·hive
我的K84092 天前
Hive中自定义函数的使用
数据仓库·hive·hadoop
sunxunyong2 天前
hive 异常任务中间数据清理
数据仓库·hive·hadoop
FF_y2 天前
Hive学习笔记
hive·笔记·学习
dogplays4 天前
sqoop问题汇总记录
hive·hadoop·sqoop