hive hms和hs2的sql执行日志分析

HMS日志:

2024-12-02 15:39:20,811 INFO org.apache.hadoop.hive.metastore.HiveMetaStore: pool-8-thread-114: 114: source:10.11.17.999 get_all_databases

2024-12-02 15:39:20,812 INFO org.apache.hadoop.hive.metastore.HiveMetaStore.audit: pool-8-thread-114: ugi=hive ip=10.11.17.999 cmd=source:10.11.17.999 get_all_databases --请求ip及请求的数据内容

HS2日志:

HiveServer2-Handler-Pool: Thread-190281: Using the default value passed in for log id: c095e5ef-b29a-4524-8ad3-04ba52546cbe

HiveServer2-Handler-Pool: Thread-190281: Updating thread name to c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281\]: Adding operation: OperationHandle \[opType=EXECUTE_STATEMENT, getHandleIdentifier()=311acd89-1594-4c1b-bdbf-26de06496ced

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Compiling command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8): show databases 编译开始时间 --根据sql找到位置,根据Thread-190281 查询线程运行,根据产生的queryId,往后查sql执行。

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Semantic Analysis Completed

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Returning Hive schema: Schema(fieldSchemas:FieldSchema(name:database_name, type:string, comment:from deserializer), properties:null)

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281\]: Initializing operator LIST_SINK\[0

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Completed compiling command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8); Time taken: 0.014 seconds 编译结束时间

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Using the default value passed in for log id: c095e5ef-b29a-4524-8ad3-04ba52546cbe

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281: Resetting thread name to HiveServer2-Handler-Pool: Thread-190281

HiveServer2-Background-Pool: Thread-191087: Executing command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8): show databases 执行sql开始!

HiveServer2-Background-Pool: Thread-191087: Starting task Stage-0:DDL in serial mode

HiveServer2-Background-Pool: Thread-191087: results : 12

HiveServer2-Background-Pool: Thread-191087: Completed executing command(queryId=hive_20241202153920_217e1a21-acc4-499f-becb-12fa49ff3be8); Time taken: 0.003 seconds 执行sql结束时间!

HiveServer2-Background-Pool: Thread-191087: OK

HiveServer2-Handler-Pool: Thread-190281: Using the default value passed in for log id: c095e5ef-b29a-4524-8ad3-04ba52546cbe

HiveServer2-Handler-Pool: Thread-190281: Updating thread name to c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281

。。。。。。

c095e5ef-b29a-4524-8ad3-04ba52546cbe HiveServer2-Handler-Pool: Thread-190281\]: Closing operation: OperationHandle \[opType=EXECUTE_STATEMENT, getHandleIdentifier()=311acd89-1594-4c1b-bdbf-26de06496ced

相关推荐
WhoAmI15 小时前
MapReduce框架原理解析一:InputFormat
大数据·hadoop
WhoAmI15 小时前
MapReduce框架原理解析三:OutputFormat
大数据·hadoop
WhoAmI15 小时前
MapReduce框架原理解析二:Shuffle
大数据·hadoop
zzzzzz3102 天前
9K Star 炸裂开源!这个 C 语言写的代码知识图谱,把 Linux 内核索引压缩到了 3 分钟
linux·服务器·sql
云技纵横4 天前
唯一索引 INSERT 死锁实战:5 秒复现交叉插入的 S 锁循环等待
sql·mysql
王小王-1236 天前
基于 Hive 的网易云音乐数据分析及可视化系统
hive·hadoop·数据分析·音乐数据分析·网易云音乐分析·hive音乐分析·hadoop网易云
极光代码工作室6 天前
基于数据仓库的电商数据分析平台
大数据·hadoop·python·spark·数据可视化
BD_Marathon6 天前
SQL学习指南——视图
数据库·sql
2601_962072556 天前
李梦娇常识4600问|题库|打印版
sql·华为od·华为·c#·华为云·.net·harmonyos
HackTwoHub6 天前
Sqli-Scanner SQL注入SKILL自动化挖掘SQL注入,零依赖自动化SQL注入挖掘,赏金猎人
数据库·人工智能·sql·web安全·网络安全·自动化·系统安全