hive与dolphin笔记

文章目录

  • 一、hive相关
    • [1. 如何增加列](#1. 如何增加列)
    • [2. 如何查看表的具体列的数据类型](#2. 如何查看表的具体列的数据类型)
    • [3. 如何drop一个表](#3. 如何drop一个表)
    • [4. 如何从某个时间点获取它30天前的日期](#4. 如何从某个时间点获取它30天前的日期)
  • 二、dolphin笔记
    • [1. 如何增加前置节点依赖](#1. 如何增加前置节点依赖)

一、hive相关

1. 如何增加列

sql 复制代码
alter table your_table_name
add columns (your_column_name varchar(255));

2. 如何查看表的具体列的数据类型

sql 复制代码
DESCRIBE your_table_name

3. 如何drop一个表

sql 复制代码
drop table your_table_name

4. 如何从某个时间点获取它30天前的日期

假设当前rundate为2024年6月17日

  1. 获取rundate的unix时间戳
sql 复制代码
SELECT  unix_timestamp('${rundate}','yyyyMMdd') as a

执行结果:1718553600

  1. 将unix时间戳转为格式化后的时间类型
sql 复制代码
select from_unixtime(
			unix_timestamp('${rundate}','yyyyMMdd')
       ) as a

执行结果:2024-06-17 00:00:00

  1. 对格式化后的时间进行日期加减操作
sql 复制代码
select date_add(
            from_unixtime(
                unix_timestamp('${rundate}','yyyyMMdd')
            ),
            -30
        )
as a

执行结果:2024-05-18

  1. 将加减操作后的日期转为unix时间戳
sql 复制代码
SELECT  unix_timestamp(
            date_add(
                from_unixtime(
                    unix_timestamp('${rundate}','yyyyMMdd')
                ),
                -30
            ),
            'yyyy-MM-dd'
        )
as a

执行结果:1715961600

  1. 将unix时间戳转为格式化后的日期字符串
sql 复制代码
SELECT from_unixtime(
    unix_timestamp(
        date_add(
            from_unixtime(
                unix_timestamp('${rundate}','yyyyMMdd')
            ),
            -30
        ),
        'yyyy-MM-dd'
    ),'yyyyMMdd'
) as a

执行结果:20240518

用一句话总结上面的所有操作就是:

sql 复制代码
select from_unixtime(unix_timestamp(date_add(from_unixtime(unix_timestamp('${rundate}','yyyyMMdd')),-30),'yyyy-MM-dd'),'yyyyMMdd')
as a

二、dolphin笔记

1. 如何增加前置节点依赖

  1. 在流程图中,右键单击某个已有节点,选择"复制"
  2. 双击新的节点,编辑title节点的新名称
  3. 在"前置任务"中选择需要依赖的前置节点
相关推荐
JessieZeng aaa12 小时前
CSV文件数据导入hive
数据仓库·hive·hadoop
Yz987618 小时前
hive复杂数据类型Array & Map & Struct & 炸裂函数explode
大数据·数据库·数据仓库·hive·hadoop·数据库开发·big data
EDG Zmjjkk20 小时前
Hive 函数(实例操作版2)
数据仓库·hive·hadoop
Yz98761 天前
Hive分桶超详细!!!
大数据·数据仓库·hive·hadoop·hdfs·数据库开发·big data
Francek Chen1 天前
【大数据技术基础 | 实验十一】Hive实验:新建Hive表
大数据·数据仓库·hive·hadoop·分布式
哇咔咔哇咔2 天前
Hive基础笔记
hive·hadoop·笔记
浊酒南街3 天前
Hive自定义UDF函数
hive·udf
march of Time3 天前
hbase mongodb hive starrocks比较
hive·mongodb·hbase
武子康3 天前
大数据-227 离线数仓 - Flume 自定义拦截器(续接上节) 采集启动日志和事件日志
java·大数据·数据仓库·hive·hadoop·架构·flume
csdnfanguyinheng4 天前
hive 统计各项目下排名前5的问题种类
hive