Hive日志介绍

日志描述

日志路径:Hive相关日志的默认存储路径为"/var/log/Bigdata/hive/角色名",Hive1相关日志的默认存储路径为"/var/log/Bigdata/hive1/角色名",以此类推。

  • HiveServer:"/var/log/Bigdata/hive/hiveserver"(运行日志),"/var/log/Bigdata/audit/hive/hiveserver"(审计日志)。
  • MetaStore:"/var/log/Bigdata/hive/metastore"(运行日志),"/var/log/Bigdata/audit/hive/metastore"(审计日志)。
  • WebHCat:"/var/log/Bigdata/hive/webhcat"(运行日志),"/var/log/Bigdata/audit/hive/webhcat"(审计日志)

日志归档规则:Hive的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过20MB的时候(此日志文件大小可进行配置),会自动压缩,压缩后的日志文件名规则为:"<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.编号.log.zip"。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置

表 1 Hive日志列表

日志类型 日志文件名 描述
运行日志 /hiveserver/hiveserver.out HiveServer运行环境信息日志
运行日志 /hiveserver/hive.log HiveServer进程的运行日志
运行日志 /hiveserver/hive-omm-<日期>-<PID>-gc.log.<编号> HiveServer进程的GC日志
运行日志 /hiveserver/prestartDetail.log HiveServer启动前的工作日志
运行日志 /hiveserver/check-serviceDetail.log Hive服务启动是否成功的检查日志
运行日志 /hiveserver/cleanupDetail.log HiveServer卸载的清理日志
运行日志 /hiveserver/startDetail.log HiveServer进程启动日志
运行日志 /hiveserver/stopDetail.log HiveServer进程停止日志
运行日志 /hiveserver/localtasklog/omm_<日期>_<任务ID>.log Hive本地任务的运行日志
运行日志 /hiveserver/localtasklog/omm_<日期>_<任务ID>-gc.log.<编号> Hive本地任务的GC日志
运行日志 /metastore/metastore.log MetaStore进程的运行日志
运行日志 /metastore/hive-omm-<日期>-<PID>-gc.log.<编号> MetaStore进程的GC日志
运行日志 /metastore/postinstallDetail.log MetaStore安装后的工作日志
运行日志 /metastore/prestartDetail.log MetaStore启动前的工作日志
运行日志 /metastore/cleanupDetail.log MetaStore卸载的清理日志
运行日志 /metastore/startDetail.log MetaStore进程启动日志
运行日志 /metastore/stopDetail.log MetaStore进程停止日志
运行日志 /metastore/metastore.out MetaStore运行环境信息日志
运行日志 /webhcat/webhcat-console.out Webhcat进程启停正常日志
运行日志 /webhcat/webhcat-console-error.out Webhcat进程启停异常日志
运行日志 /webhcat/prestartDetail.log WebHCat启动前的工作日志
运行日志 /webhcat/cleanupDetail.log Webhcat卸载时或安装前的清理日志
运行日志 /webhcat/hive-omm-<日期>-<PID>-gc.log.<编号> WebHCat进程的GC日志
运行日志 /webhcat/webhcat.log WebHCat进程的运行日志
审计日志 hive-audit.log hive-rangeraudit.log HiveServer审计日志
审计日志 metastore-audit.log MetaStore审计日志
审计日志 webhcat-audit.log WebHCat审计日志
审计日志 jetty-<日期>.request.log Jetty服务的请求日志

日志级别

Hive提供了如表2所示的日志级别。

运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。

表 2 日志级别

级别 描述
ERROR ERROR表示系统运行的错误信息。
WARN WARN表示当前事件处理存在异常信息。
INFO INFO表示记录系统及各事件正常运行状态信息。
DEBUG DEBUG表示记录系统及系统的调试信息。

如果您需要修改日志级别,请执行如下操作:

  1. 参考修改集群服务配置参数,进入Hive服务"全部配置"页面。

  2. 左边菜单栏中选择所需修改的角色所对应的日志菜单。

  3. 选择所需修改的日志级别并保存。

    说明:

    配置Hive日志级别后可立即生效,无需重启服务。

日志格式

Hive的日志格式如下所示:

表 3 日志格式

日志类型 格式 示例
运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> 2014-11-05 09:45:01,242 | INFO | main | Starting hive metastore on port 21088 | org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:5198)
审计日志 <yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<User Name><User IP><Time><Operation><Resource><Result><Detail >|<日志事件的发生位置> 2018-12-24 12:16:25,319 | INFO | HiveServer2-Handler-Pool: Thread-185 | UserName=hive UserIP=10.153.2.204 Time=2018/12/24 12:16:25 Operation=CloseSession Result=SUCCESS Detail= | org.apache.hive.service.cli.thrift.ThriftCLIService.logAuditEvent(ThriftCLIService.java:434)
相关推荐
计算机编程指导师6 分钟前
【计算机毕设】基于Hadoop+Spark的美国互联网银行贷款数据可视化分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·数据分析·spark·毕业设计·贷款
古法老登瞎折腾1 小时前
Hive 源码导读(三):都是 SELECT,为什么有的查询不需要 YARN?
数据仓库·hive·hadoop
计算机编程指导师3 小时前
计算机大数据项目推荐:基于Hadoop+Django的人工智能社交媒体情绪数据分析可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·spark·毕业设计·社交媒体
troy1284 小时前
Java Web 常见面试题(2026 最新整理)
java·前端·hive
计算机编程指导师4 小时前
【计算机毕设选题】基于Hadoop的全球企业邮件安全合规数据可视化分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·数据分析·毕业设计·课程设计·企业邮件
高级程序源5 小时前
hive电商平台商品销售数据分析与趋势预测45659-计算机课程设计、毕业设计
vue.js·hive·spring boot·mysql·数据分析·django·课程设计
计算机编程指导师5 小时前
计算机毕设怎么做?基于Hadoop+Spark的商场商铺数据分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·商场商铺
Q26433650235 小时前
【有源码】基于Hadoop+Spark的低能见度易雾站点识别与可视化分析系统-面向气象保障的低能见度监测数据挖掘与风险画像系统
大数据·hadoop·数据挖掘·spark·毕业设计·课程设计·数据可视化
计算机编程指导师6 小时前
【大数据毕设】基于Hadoop+Django乳腺癌数据分析与可视化系统选题推荐 源码 毕业设计 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·毕业设计·课程设计·乳腺癌
计算机编程指导师6 小时前
Python毕设怎么做?基于hadoop的商家优惠券营销效果数据分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·优惠券