hive多分隔符外表支持

在hive 外表关联文本的时候 有时会遇到不是一个长度的分割符比如"~@" 这种。这个时候使用shell命令多处理一步处理成单分隔符也可以,但是会有出错的风险。我们可以通过hive中指定的序列类来完成多分隔符的识别。

复制代码
CREATE EXTERNAL TABLE text_mid1(
id STRING ,name STRING 
)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' 
WITH SERDEPROPERTIES('input.delimited'='~@' )      -- 指定分隔符s
LOCATION '/tmp/multidelimit_txt'
;

需要在 SERDE中指定 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe 类

然后在WITH SERDEPROPERTIES 指定'input.delimited'='@'

相关推荐
howard200510 小时前
5.1 Hive加载数据实战
hive·数据加载
智海观潮12 小时前
Hive经典面试题之连续登录、行转列和列转行
数据仓库·hive·hadoop
一只小青团15 小时前
Hadoop之javaAPI写HDFS的shell命令
大数据·hadoop·分布式
泰克教育官方账号15 小时前
泰涨知识 | 10分钟快速入门Hive之基本操作篇
数据仓库·hive·hadoop
howard200515 小时前
5.5 Hive导出数据实战
hive·导出数据
howard200515 小时前
5.3 Hive更新数据实战
hive·数据更新·事务表
Just_Do_IT_OK20 小时前
Docker--Apache/hadoop
hadoop·docker·apache
Dragon online1 天前
数据仓库深度探索系列:数仓建设全流程解析
数据仓库
isNotNullX1 天前
数据中台有什么用?数据仓库和数据中台怎么选?
大数据·数据仓库·人工智能·数据中台
稚辉君.MCA_P8_Java1 天前
通义千问 SpringBoot 性能优化全景设计(面向 Java 开发者)
大数据·hadoop·spring boot·分布式·架构