【hive】报错累积

6.1 创建新表

  • 错误1:FAILED: SemanticException [Error 10006]: Line 1:63 Partition not found '"20210919"'

    • 场景:在创建例行表时,报错。
    • 这种情况是先创建了多级分区表(date,product),在落表跑数时只指定了一个分区(date)
    • 解决:修改分区字段,与已有表里保持一致;或者删掉已有表,重新落表
  • 错误2:FAILED: SemanticException [Error 10035]: Column repeated in partitioning columns

    • 场景:在创建例行表时,报错。
    • 这种情况是在创建新表时先指定了某字段,但在指定分区时又重复出现了该字段(date)
    • 解决:在创建表字段时,去掉date或者修改分区字段值

6.2 数据倾斜

  • 利用rand()解决跑数
    • 存在较多未登录用户时,利用rand()函数将未登录打散
sql 复制代码
if(nvl(a.u_id,0)>0, a.u_id, concat('hive', rand())) = b.u_id
相关推荐
BYSJMG4 小时前
计算机毕设大数据方向:基于Spark+Hadoop的餐饮外卖平台数据分析系统【源码+文档+调试】
大数据·hadoop·分布式·python·spark·django·课程设计
IT研究室12 小时前
大数据毕业设计选题推荐-基于大数据的宫颈癌风险因素分析与可视化系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
镜舟科技13 小时前
告别 Hadoop,拥抱 StarRocks!政采云数据平台升级之路
大数据·starrocks·数据仓库·hadoop·存算分离
毕设源码-赖学姐13 小时前
【开题答辩全过程】以 基于Hadoop电商数据的可视化分析为例,包含答辩的问题和答案
大数据·hadoop·分布式
计算机毕设残哥15 小时前
HDFS存储农业大数据的秘密是什么?高级大豆数据分析与可视化系统架构设计思路
大数据·hadoop·python·hdfs·数据分析·spark·django
程序猿 董班长19 小时前
springboot配置多数据源(mysql、hive)
hive·spring boot·mysql
XueminXu1 天前
Hive使用Tez引擎出现OOM的解决方法
hive·oom·tez·datagrip·container·outofmemory
YF云飞1 天前
数据仓库进化:Agent驱动数智化新范式
数据仓库·人工智能·ai
zzu123zsw1 天前
01-Hadoop简介与生态系统
hadoop
鸿儒之观1 天前
hadoop 框架 jar下载
大数据·hadoop·jar