hive hms和hs2的sql执行日志分析

HMS日志:

2024-12-02 15:39:20,811 INFO org.apache.hadoop.hive.metastore.HiveMetaStore: pool-8-thread-114: 114: source:10.11.17.999 get_all_databases

2024-12-02 15:39:20,812 INFO org.apache.hadoop.hive.metastore.HiveMetaStore.audit: pool-8-thread-114: ugi=hive ip=10.11.17.999 cmd=source:10.11.17.999 get_all_databases --请求ip及请求的数据内容

HS2日志:

HiveServer2-Handler-Pool: Thread-190281: Using the default value passed in for log id: c095e5ef-b29a-4524-8ad3-04ba52546cbe

HiveServer2-Handler-Pool: Thread-190281: Updating thread name to c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281\]: Adding operation: OperationHandle \[opType=EXECUTE_STATEMENT, getHandleIdentifier()=311acd89-1594-4c1b-bdbf-26de06496ced

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Compiling command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8): show databases 编译开始时间 --根据sql找到位置,根据Thread-190281 查询线程运行,根据产生的queryId,往后查sql执行。

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Semantic Analysis Completed

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Returning Hive schema: Schema(fieldSchemas:FieldSchema(name:database_name, type:string, comment:from deserializer), properties:null)

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281\]: Initializing operator LIST_SINK\[0

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Completed compiling command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8); Time taken: 0.014 seconds 编译结束时间

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Using the default value passed in for log id: c095e5ef-b29a-4524-8ad3-04ba52546cbe

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Resetting thread name to HiveServer2-Handler-Pool: Thread-190281

HiveServer2-Background-Pool: Thread-191087: Executing command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8): show databases 执行sql开始!

HiveServer2-Background-Pool: Thread-191087: Starting task Stage-0:DDL in serial mode

HiveServer2-Background-Pool: Thread-191087: results : 12

HiveServer2-Background-Pool: Thread-191087: Completed executing command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8); Time taken: 0.003 seconds 执行sql结束时间!

HiveServer2-Background-Pool: Thread-191087: OK

HiveServer2-Handler-Pool: Thread-190281: Using the default value passed in for log id: c095e5ef-b29a-4524-8ad3-04ba52546cbe

HiveServer2-Handler-Pool: Thread-190281: Updating thread name to c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281

。。。。。。

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281\]: Closing operation: OperationHandle \[opType=EXECUTE_STATEMENT, getHandleIdentifier()=311acd89-1594-4c1b-bdbf-26de06496ced

相关推荐
hkNaruto1 小时前
【大数据】《传统Hadoop大数据技术入门:补充与进阶——从数据格式到智能决策的问答实录》
大数据·hadoop·分布式
吾AI科技2 小时前
基于Tez引擎的 Hive SQL 性能优化
大数据·hive·性能优化·tez
xd1855785553 小时前
SQL语句生成-基于鸿蒙的AI SQL语句生成应用开发实践
人工智能·sql·华为·harmonyos·鸿蒙
G.O.G.O.G15 小时前
LeetCode SQL 从入门到精通(MySQL)06(上)
数据库·sql·mysql·leetcode
G.O.G.O.G19 小时前
《LeetCode SQL 从入门到进阶(MySQL)》06(下)
数据库·sql·oracle
heimeiyingwang19 小时前
【架构实战】SQL注入与XSS防御:常见Web漏洞的系统性修复
前端·sql·架构
牛奶咖啡1319 小时前
大数据Hadoop运维应用实践——双NameNode高可用Hadoop集群架构(下)
大数据·hadoop·hadoop集群配置文件解析·hadoop高可用集群安装部署·配置指定多台服务器相互免密·配置hadoop服务开机自启·ansible部署hadoop
ClouGence1 天前
跨云、跨地域数据同步,这样更省心
数据库·sql·saas
abcy0712131 天前
hive 执行器原理
hive
Csvn1 天前
📊 SQL 入门 Day 4:聚合函数 — COUNT / SUM / AVG / MIN / MAX
后端·sql