hive与dolphin笔记

文章目录

  • 一、hive相关
    • [1. 如何增加列](#1. 如何增加列)
    • [2. 如何查看表的具体列的数据类型](#2. 如何查看表的具体列的数据类型)
    • [3. 如何drop一个表](#3. 如何drop一个表)
    • [4. 如何从某个时间点获取它30天前的日期](#4. 如何从某个时间点获取它30天前的日期)
  • 二、dolphin笔记
    • [1. 如何增加前置节点依赖](#1. 如何增加前置节点依赖)

一、hive相关

1. 如何增加列

sql 复制代码
alter table your_table_name
add columns (your_column_name varchar(255));

2. 如何查看表的具体列的数据类型

sql 复制代码
DESCRIBE your_table_name

3. 如何drop一个表

sql 复制代码
drop table your_table_name

4. 如何从某个时间点获取它30天前的日期

假设当前rundate为2024年6月17日

  1. 获取rundate的unix时间戳
sql 复制代码
SELECT  unix_timestamp('${rundate}','yyyyMMdd') as a

执行结果:1718553600

  1. 将unix时间戳转为格式化后的时间类型
sql 复制代码
select from_unixtime(
			unix_timestamp('${rundate}','yyyyMMdd')
       ) as a

执行结果:2024-06-17 00:00:00

  1. 对格式化后的时间进行日期加减操作
sql 复制代码
select date_add(
            from_unixtime(
                unix_timestamp('${rundate}','yyyyMMdd')
            ),
            -30
        )
as a

执行结果:2024-05-18

  1. 将加减操作后的日期转为unix时间戳
sql 复制代码
SELECT  unix_timestamp(
            date_add(
                from_unixtime(
                    unix_timestamp('${rundate}','yyyyMMdd')
                ),
                -30
            ),
            'yyyy-MM-dd'
        )
as a

执行结果:1715961600

  1. 将unix时间戳转为格式化后的日期字符串
sql 复制代码
SELECT from_unixtime(
    unix_timestamp(
        date_add(
            from_unixtime(
                unix_timestamp('${rundate}','yyyyMMdd')
            ),
            -30
        ),
        'yyyy-MM-dd'
    ),'yyyyMMdd'
) as a

执行结果:20240518

用一句话总结上面的所有操作就是:

sql 复制代码
select from_unixtime(unix_timestamp(date_add(from_unixtime(unix_timestamp('${rundate}','yyyyMMdd')),-30),'yyyy-MM-dd'),'yyyyMMdd')
as a

二、dolphin笔记

1. 如何增加前置节点依赖

  1. 在流程图中,右键单击某个已有节点,选择"复制"
  2. 双击新的节点,编辑title节点的新名称
  3. 在"前置任务"中选择需要依赖的前置节点
相关推荐
工作中的程序员2 天前
hive sql优化基础
hive·sql
风跟我说过她2 天前
Sqoop的安装与配置
hive·hadoop·经验分享·centos·hbase·sqoop
DashingGuy7 天前
hive、spark任务报错或者异常怎么排查以及定位哪段sql
hive·sql·spark
秦JaccLink10 天前
Hive语句执行顺序详解
数据仓库·hive·hadoop
AI算力网络与通信10 天前
大数据领域 Hive 数据仓库搭建实战
大数据·数据仓库·hive·ai
工业互联网专业13 天前
基于大数据hive的银行信用卡用户的数仓系统的设计与实现_django
大数据·hive·django·毕业设计·源码·课程设计·数仓系统
顧棟13 天前
【Hive实战】hive-testbench的调研
数据仓库·hive·hadoop
emmm...14 天前
hive连不上,报错9000拒绝连接
数据仓库·hive·hadoop
野老杂谈14 天前
Hive SQL 中的时间戳转换详解
hive·hadoop·sql
大数据CLUB14 天前
基于hive和mapreduce的地铁数据分析及可视化_hive作为数据库
大数据·hive·hadoop·分布式·数据分析·mapreduce