Hive drop column 的解决方法

示例:

创建 text 格式的表

sql 复制代码
create table t1(c1 int, c2 int) stored as textfile;

增加一个字段

sql 复制代码
alter table t1 add columns (c3 int);

使用 replace columns 删除新加的字段

sql 复制代码
alter table t1 replace columns (c1 int, c2 int);

对于 ORC 类型的表,使用 replace columns 可能抛出以下异常"

sql 复制代码
org.apache.hadoop.hive.ql.metadata.HiveException: Replacing columns cannot drop columns for table xxx. SerDe may be incompatible

解决方法:

sql 复制代码
set hive.exec.schema.evolution=false;

然后再执行 replace columns 就可以了。

相关推荐
曾阿伦1 天前
Windows 下运行 Hadoop 并部署到 AWS EMR 指南
hadoop·windows·aws
罗政2 天前
基于AI工作流的多渠道销售数据仓库清洗统计实践
数据仓库
极光代码工作室2 天前
基于Spark的日志监控与分析平台
大数据·hadoop·python·spark·数据可视化
迈巴赫车主3 天前
湖仓一体(Data Lakehouse)简介
大数据·数据仓库·数据湖·湖仓一体
liuxiaowei33 天前
Winform+WPF双框架实战:喷涂工艺SCADA上位机从0到1搭建(附采集监控源码+车间踩坑实录)
大数据·hadoop·wpf
humbinal4 天前
同时支持 gui & cli 的 parquet 文件查看工具,高性能小清新!
hive·python·rust·spark·开源·github·parquet
RestCloud6 天前
ETL是什么?全域数据集成平台核心能力解析
数据仓库·etl·数据清洗·数据处理·etlcloud·数据集成工具
Gent_倪6 天前
万字详解:数据库、数据仓库、数据湖、湖仓一体
数据库·数据仓库·spark
Microsoft Word6 天前
把RAG从 “能跑” 做到上线
数据仓库·人工智能
hkNaruto6 天前
【大数据】《传统Hadoop大数据技术入门:补充与进阶——从数据格式到智能决策的问答实录》
大数据·hadoop·分布式