Hive:日志,hql运行方式,Array,行列转换

日志

可以在终端通过 find / | grep hive-log4j2 命令查找Hive的日志配置文件

这些文件用于配置Hive的日志系统。它们不属于系统日志也不属于Job日志,而是用于配置Hive如何记录系统日志和Job日志, 可以通过hive-log4j2 查找日志的位置

HQL的3种运行方式

第1种就是linux终端, 第3种是通过第三方工具,比如DataGrip, 第3种方式用得比较多

  1. 在linux命令行中执行HQL
    root@hadoop01 \~ $ hive --database 数据库名 -e 'hql query'

    e--execute
    f--file
    s--silent
    i--init
    示例 : 没有写数据库名称默认是从default数据库中查找

  2. beeline 连接

复杂数据类型Array


注意: 创建表时除了需要指定数组元素的分隔符, 否则所有的元素都会被当成一个元素
array里面元素的数据类型只能是基本数据类型,不能是另一种复杂类型
示例


一个双引号是一个元素

访问数组的具体元素使用下标

size(数组名) 返回数组元素的个数


如果想查询每个人的总成绩, 因为王五只考了2门成绩, 所以出现了NULL, 需要对空值进行处理, 这需要知道每个数组的元素个数,比较麻烦


把数组里面的元素展开,可以更方便地统计总成绩, 即行转列, 可以使用展开函数(也称爆炸函数)

行转列: 展开函数explode和虚拟表lateral view


UDTF是User-Defined Table-Generating Functions的缩写,即用户定义的表生成函数。
使用时select后面不能出现其他列
示例: 爆炸函数

示例: 虚拟表

lateral view explode(score) 虚拟表的表名是mytab 给表起个别名 cj 作为查询列


列转行 : collect_set和 collect_list

多变一

相关推荐
SelectDB技术团队16 小时前
Apache Doris 基于 Lance 的向量检索深度解析
数据库·数据仓库·数据分析·湖仓一体·apache doris·lakehouse·多模湖仓
泡干脆面就番茄17 小时前
Hive-DML:Load-Insert-Export-Import四种数据进出方式
大数据·数据仓库·hive·hadoop
SelectDB技术团队20 小时前
日志场景 Elasticsearch 替换实操:建表、索引、写入链路与查询改写的完整参数
大数据·数据库·数据仓库·elasticsearch·全文检索·日志分析·apache doris
省钱兄--zs2 天前
深圳24小时自助健身房软硬件解决方案实战指南与开发流程详解
java·数据仓库·spring boot·小程序·架构
省钱兄--zs2 天前
无人自助拼豆系统架构设计与功能实现落地部署全流程实战指南
java·数据仓库·spring boot·系统架构·需求分析
棣廷2 天前
初识Hive(1)
数据仓库·hive·hadoop
Francek Chen2 天前
【大数据处理与分析】数据仓库Hive:07 Hive HA基本原理
大数据·数据仓库·hive·hadoop·数据分析
棣廷2 天前
初识Hadoop
大数据·hadoop·分布式
这个DBA有点耶2 天前
ELT工具选型:ETL与ELT差异、CDC同步机制与主流工具对比`
数据库·数据仓库·sql·database·dba·etl·数据库管理员
省钱兄--zs2 天前
碰碰好评卡系统开发实战指南 核心功能实现与部署落地全流程拆解
数据仓库·经验分享·spring boot·小程序·架构