Hive:日志,hql运行方式,Array,行列转换

日志

可以在终端通过 find / | grep hive-log4j2 命令查找Hive的日志配置文件

这些文件用于配置Hive的日志系统。它们不属于系统日志也不属于Job日志,而是用于配置Hive如何记录系统日志和Job日志, 可以通过hive-log4j2 查找日志的位置

HQL的3种运行方式

第1种就是linux终端, 第3种是通过第三方工具,比如DataGrip, 第3种方式用得比较多

  1. 在linux命令行中执行HQL
    root@hadoop01 \~ $ hive --database 数据库名 -e 'hql query'

    e--execute
    f--file
    s--silent
    i--init
    示例 : 没有写数据库名称默认是从default数据库中查找

  2. beeline 连接

复杂数据类型Array


注意: 创建表时除了需要指定数组元素的分隔符, 否则所有的元素都会被当成一个元素
array里面元素的数据类型只能是基本数据类型,不能是另一种复杂类型
示例


一个双引号是一个元素

访问数组的具体元素使用下标

size(数组名) 返回数组元素的个数


如果想查询每个人的总成绩, 因为王五只考了2门成绩, 所以出现了NULL, 需要对空值进行处理, 这需要知道每个数组的元素个数,比较麻烦


把数组里面的元素展开,可以更方便地统计总成绩, 即行转列, 可以使用展开函数(也称爆炸函数)

行转列: 展开函数explode和虚拟表lateral view


UDTF是User-Defined Table-Generating Functions的缩写,即用户定义的表生成函数。
使用时select后面不能出现其他列
示例: 爆炸函数

示例: 虚拟表

lateral view explode(score) 虚拟表的表名是mytab 给表起个别名 cj 作为查询列


列转行 : collect_set和 collect_list

多变一

相关推荐
慧一居士16 小时前
Apache StreamPark 功能和使用场景介绍、使用步骤详细示例
数据仓库
牛奶咖啡1317 小时前
大数据Hadoop运维应用实践——Hadoop平台常见问题与故障汇总、系统调优、网络规划与硬件存储选型
大数据·hadoop·hadoop集群操作系统调优·hadoop集群运维问题汇总·hadoop集群硬件规划·大数据平台网络规划·大数据平台硬件存储选型
雨晨源码(同名B站)17 小时前
基于Python的网易云音乐评论数据情感化分析系统 音乐爬虫信息可视化 |SnowNLP评论情感分析
开发语言·hadoop·爬虫·python·信息可视化·毕业设计
赤土 炙焱1 天前
hiveserver2启动失败,磁盘满了
hive·hadoop
慧一居士1 天前
Hologres 功能及使用场景介绍,实践详细步骤示例
数据仓库
哥本哈士奇2 天前
dbt+SQLServer构建数据仓库(10):macro 以及 data vault的应用实例
大数据·数据仓库·sqlserver
Francek Chen2 天前
【大数据处理与分析】数据仓库Hive:02 数据湖
大数据·数据仓库·hive·hadoop·分布式·数据分析
自由能燃气设备4 天前
燃气容积式热水器厂家选购指南:2026年商用热水设备采购避坑手册
大数据·数据库·数据仓库·人工智能
哥本哈士奇4 天前
dbt+SQLServer构建数据仓库(8):Vibe Coding用dbt构建data vault数仓
数据仓库·sqlserver
Blossom i4 天前
Python+spark2.0+Hadoop机器学习与大数据实战第十一章:Python Spark的集成开发环境
大数据·hadoop·spark