hive使用中的参数优化与问题排查

1.使用hive的虚拟列排查错误案例

set hive.exec.rowoffset=true;

SELECT

--输入文件名

INPUT__FILE__NAME,

--文件中的块内偏移量

BLOCK__OFFSET__INSIDE__FILE,

--文件行偏移量

ROW__OFFSET__INSIDE__BLOCK,

*

from hdp_lbg_zhaopin_defaultdb.zzdetail

where dt='20201117' and logtime is null;

根据结果找到对应的文件名称,根据文件名称将文件复制到本地,

hadoop文件系统复制到本地需要使用copyToLocal命令

hadoop fs -copyToLocal xxx ./yyy

lzo解压 lzop -dv xxx.lzo

在本地使用grep命令过滤出文件中出问题的行,以及其后的若干行,

方便查看问题影响的范围。

grep 'xxx' 目标文件名file -A 5 匹配查找到的及以后的20行内容

hive的一个优化 set hive.fetch.task.conversion;

explain extend

相关推荐
AI源码2 天前
基于 Hadoop 和 Hive 的旅游景区数据的分析与可视化系统
hive·hadoop·旅游
吾AI科技7 天前
基于Tez引擎的 Hive SQL 性能优化 —— 为什么脚本运行越来越慢
大数据·hive·性能优化·tez
freejackman12 天前
【工程化】从“单兵作战”到“多引擎架构”:基于门面模式的重构实战
大数据·数据库·hive·sql·测试工具·设计模式·架构
skywalk816315 天前
hive 常驻集群:像 OSPF 一样在线,像 git 一样可信
运维·人工智能·hive
Francek Chen16 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
skywalk816319 天前
卡不等于分支:我用 TRAE 宝配合 Hive 跑三张任务卡的一天
运维·人工智能·hive·trae
freejackman20 天前
【架构篇】双遍历 + 多栈协同:手撸 SQL 血缘引擎的架构思考
java·大数据·数据库·hive·sql·架构·spark
陈年老古董20 天前
ClickHouse 单机搭建记录
hive·笔记·学习·clickhouse·硬件架构
陈年老古董20 天前
Spark 3.1.3 集群搭建 + Spark-SQL 整合 Hive 记录
hive·sql·spark
FserSuN20 天前
Hive 分区表存储与查询优化学习总结
hive·hadoop·学习