hive使用中的参数优化与问题排查

1.使用hive的虚拟列排查错误案例

set hive.exec.rowoffset=true;

SELECT

--输入文件名

INPUT__FILE__NAME,

--文件中的块内偏移量

BLOCK__OFFSET__INSIDE__FILE,

--文件行偏移量

ROW__OFFSET__INSIDE__BLOCK,

*

from hdp_lbg_zhaopin_defaultdb.zzdetail

where dt='20201117' and logtime is null;

根据结果找到对应的文件名称，根据文件名称将文件复制到本地，

hadoop文件系统复制到本地需要使用copyToLocal命令

hadoop fs -copyToLocal xxx ./yyy

lzo解压 lzop -dv xxx.lzo

在本地使用grep命令过滤出文件中出问题的行，以及其后的若干行，

方便查看问题影响的范围。

grep 'xxx' 目标文件名file -A 5 匹配查找到的及以后的20行内容

hive的一个优化 set hive.fetch.task.conversion;

explain extend