hive与dolphin笔记

文章目录

  • 一、hive相关
    • [1. 如何增加列](#1. 如何增加列)
    • [2. 如何查看表的具体列的数据类型](#2. 如何查看表的具体列的数据类型)
    • [3. 如何drop一个表](#3. 如何drop一个表)
    • [4. 如何从某个时间点获取它30天前的日期](#4. 如何从某个时间点获取它30天前的日期)
  • 二、dolphin笔记
    • [1. 如何增加前置节点依赖](#1. 如何增加前置节点依赖)

一、hive相关

1. 如何增加列

sql 复制代码
alter table your_table_name
add columns (your_column_name varchar(255));

2. 如何查看表的具体列的数据类型

sql 复制代码
DESCRIBE your_table_name

3. 如何drop一个表

sql 复制代码
drop table your_table_name

4. 如何从某个时间点获取它30天前的日期

假设当前rundate为2024年6月17日

  1. 获取rundate的unix时间戳
sql 复制代码
SELECT  unix_timestamp('${rundate}','yyyyMMdd') as a

执行结果:1718553600

  1. 将unix时间戳转为格式化后的时间类型
sql 复制代码
select from_unixtime(
			unix_timestamp('${rundate}','yyyyMMdd')
       ) as a

执行结果:2024-06-17 00:00:00

  1. 对格式化后的时间进行日期加减操作
sql 复制代码
select date_add(
            from_unixtime(
                unix_timestamp('${rundate}','yyyyMMdd')
            ),
            -30
        )
as a

执行结果:2024-05-18

  1. 将加减操作后的日期转为unix时间戳
sql 复制代码
SELECT  unix_timestamp(
            date_add(
                from_unixtime(
                    unix_timestamp('${rundate}','yyyyMMdd')
                ),
                -30
            ),
            'yyyy-MM-dd'
        )
as a

执行结果:1715961600

  1. 将unix时间戳转为格式化后的日期字符串
sql 复制代码
SELECT from_unixtime(
    unix_timestamp(
        date_add(
            from_unixtime(
                unix_timestamp('${rundate}','yyyyMMdd')
            ),
            -30
        ),
        'yyyy-MM-dd'
    ),'yyyyMMdd'
) as a

执行结果:20240518

用一句话总结上面的所有操作就是:

sql 复制代码
select from_unixtime(unix_timestamp(date_add(from_unixtime(unix_timestamp('${rundate}','yyyyMMdd')),-30),'yyyy-MM-dd'),'yyyyMMdd')
as a

二、dolphin笔记

1. 如何增加前置节点依赖

  1. 在流程图中,右键单击某个已有节点,选择"复制"
  2. 双击新的节点,编辑title节点的新名称
  3. 在"前置任务"中选择需要依赖的前置节点
相关推荐
core5125 天前
Hive实战(三)
数据仓库·hive·hadoop
程序员小羊!5 天前
大数据电商流量分析项目实战:Hive 数据仓库(三)
大数据·数据仓库·hive
core5125 天前
Hive实战(一)
数据仓库·hive·hadoop·架构·实战·配置·场景
智海观潮5 天前
Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件
hive·sql·spark
cxr8286 天前
基于Claude Code的 规范驱动开发(SDD)指南
人工智能·hive·驱动开发·敏捷流程·智能体
core5127 天前
Hive实战(二)
数据仓库·hive·hadoop
Agatha方艺璇8 天前
Hive基础简介
数据仓库·hive·hadoop
像豆芽一样优秀9 天前
Hive和Flink数据倾斜问题
大数据·数据仓库·hive·hadoop·flink
howard20059 天前
VMWare上搭建Hive集群
hive·hadoop
程序猿 董班长11 天前
springboot配置多数据源(mysql、hive)
hive·spring boot·mysql