hive多分隔符外表支持

在hive 外表关联文本的时候 有时会遇到不是一个长度的分割符比如"~@" 这种。这个时候使用shell命令多处理一步处理成单分隔符也可以,但是会有出错的风险。我们可以通过hive中指定的序列类来完成多分隔符的识别。

复制代码
CREATE EXTERNAL TABLE text_mid1(
id STRING ,name STRING 
)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' 
WITH SERDEPROPERTIES('input.delimited'='~@' )      -- 指定分隔符s
LOCATION '/tmp/multidelimit_txt'
;

需要在 SERDE中指定 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe 类

然后在WITH SERDEPROPERTIES 指定'input.delimited'='@'

相关推荐
AllData公司负责人9 小时前
通过Postgresql同步到Doris,全视角演示AllData数据中台核心功能效果,涵盖:数据入湖仓,数据同步,数据处理,数据服务,BI可视化驾驶舱
java·大数据·数据库·数据仓库·人工智能·python·postgresql
WL_Aurora15 小时前
HDFS底层原理深度解析 | 读写流程、NameNode工作机制、DataNode心跳与数据完整性
大数据·hadoop·hdfs
Pushkin.17 小时前
新数仓建设方法论与实践指南-分层解耦驱动的数据仓库
大数据·数据仓库
m0_7162550018 小时前
二、Hadoop 面试必背 | 三、Hive 面试必背
大数据·hadoop·面试
Pushkin.19 小时前
【新】数据仓库分层建模实战指南:从混乱到有序的工程实践
数据仓库
Volunteer Technology20 小时前
HDFS扩缩容及数据迁移
大数据·hadoop·hdfs
3D霸霸2 天前
Sourcetree 拉取新工程
数据仓库·unity
Volunteer Technology2 天前
Hadoop NameNode HA
大数据·hadoop·分布式
大大大大晴天2 天前
Flink集群跨机房容灾:HDFS 快照权限踩坑与实践
hadoop·flink
Leo.yuan2 天前
企业数字化转型选型指南:FineBI如何助力数据驱动决策?
数据仓库·人工智能·信息可视化