hive hms和hs2的sql执行日志分析

HMS日志:

2024-12-02 15:39:20,811 INFO org.apache.hadoop.hive.metastore.HiveMetaStore: pool-8-thread-114: 114: source:10.11.17.999 get_all_databases

2024-12-02 15:39:20,812 INFO org.apache.hadoop.hive.metastore.HiveMetaStore.audit: pool-8-thread-114: ugi=hive ip=10.11.17.999 cmd=source:10.11.17.999 get_all_databases --请求ip及请求的数据内容

HS2日志:

HiveServer2-Handler-Pool: Thread-190281: Using the default value passed in for log id: c095e5ef-b29a-4524-8ad3-04ba52546cbe

HiveServer2-Handler-Pool: Thread-190281: Updating thread name to c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281\]: Adding operation: OperationHandle \[opType=EXECUTE_STATEMENT, getHandleIdentifier()=311acd89-1594-4c1b-bdbf-26de06496ced

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Compiling command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8): show databases 编译开始时间 --根据sql找到位置,根据Thread-190281 查询线程运行,根据产生的queryId,往后查sql执行。

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Semantic Analysis Completed

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Returning Hive schema: Schema(fieldSchemas:FieldSchema(name:database_name, type:string, comment:from deserializer), properties:null)

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281\]: Initializing operator LIST_SINK\[0

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Completed compiling command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8); Time taken: 0.014 seconds 编译结束时间

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Using the default value passed in for log id: c095e5ef-b29a-4524-8ad3-04ba52546cbe

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Resetting thread name to HiveServer2-Handler-Pool: Thread-190281

HiveServer2-Background-Pool: Thread-191087: Executing command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8): show databases 执行sql开始!

HiveServer2-Background-Pool: Thread-191087: Starting task Stage-0:DDL in serial mode

HiveServer2-Background-Pool: Thread-191087: results : 12

HiveServer2-Background-Pool: Thread-191087: Completed executing command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8); Time taken: 0.003 seconds 执行sql结束时间!

HiveServer2-Background-Pool: Thread-191087: OK

HiveServer2-Handler-Pool: Thread-190281: Using the default value passed in for log id: c095e5ef-b29a-4524-8ad3-04ba52546cbe

HiveServer2-Handler-Pool: Thread-190281: Updating thread name to c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281

。。。。。。

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281\]: Closing operation: OperationHandle \[opType=EXECUTE_STATEMENT, getHandleIdentifier()=311acd89-1594-4c1b-bdbf-26de06496ced

相关推荐
镰刀韭菜4 小时前
用 AI 做数据分析时,怎么保住自己的思考力
sql·数据分析·学习方法·提示工程·ai应用
Databend4 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
AI源码13 小时前
基于 Hadoop 和 Hive 的旅游景区数据的分析与可视化系统
hive·hadoop·旅游
Decay__1 天前
SQLServer 运维自动化平台 —— PowerShell + SQL Agent 作业:部署、监控、巡检、告警、工单闭环一体化
运维·数据库·sql·mysql·架构
星恒随风1 天前
MySQL 从零入门(十):MVCC、Undo Log 与 Read View 详解——InnoDB 如何实现事务隔离?
linux·数据库·笔记·sql·mysql
Decay__1 天前
附 - 02・SQLServer 分库分表与中间件 —— 原生分区表、横向分库实践与联邦查询
运维·数据库·sql·mysql·架构
Decay__2 天前
SQLServer 优化案例集 —— 慢 SQL 优化、索引重构与参数调整收益对比
运维·数据库·sql·mysql·架构
演艺大赏2 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
starzy19902 天前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
codeejun3 天前
每日一Go·MySQL-15、慢查询日志实战分析(从 0 到 1 实战排查慢 SQL)
sql·mysql·golang