hive多分隔符外表支持

在hive 外表关联文本的时候 有时会遇到不是一个长度的分割符比如"~@" 这种。这个时候使用shell命令多处理一步处理成单分隔符也可以,但是会有出错的风险。我们可以通过hive中指定的序列类来完成多分隔符的识别。

CREATE EXTERNAL TABLE text_mid1(
id STRING ,name STRING 
)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' 
WITH SERDEPROPERTIES('input.delimited'='~@' )      -- 指定分隔符s
LOCATION '/tmp/multidelimit_txt'
;

需要在 SERDE中指定 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe 类

然后在WITH SERDEPROPERTIES 指定'input.delimited'='~@~'

相关推荐
RestCloud4 分钟前
一文说清楚ETL与Kafka如何实现集成
数据仓库·kafka·etl·数据处理·数据集成
CaritoB8 分钟前
中台架构下的数据仓库与非结构化数据整合
数据仓库·架构
人生百态,人生如梦14 小时前
大数据处理从零开始————3.Hadoop伪分布式和分布式搭建
hadoop·分布式
天地风雷水火山泽21 小时前
二百六十六、Hive——Hive的DWD层数据清洗、清洗记录、数据修复、数据补全
数据仓库·hive·hadoop
大数据深度洞察1 天前
Hive企业级调优[2]—— 测试用表
数据仓库·hive·hadoop
lzhlizihang1 天前
使用sqoop将mysql数据导入到hive报错ClassNotFoundException、Zero date value prohibited等错误
hive·报错·sqoop
goTsHgo1 天前
Hive自定义函数——简单使用
大数据·hive·hadoop
江畔独步1 天前
Hive内置集合函数-size,map_keys,map_values,sort_array,array_contains
数据仓库·hive·hadoop
天地风雷水火山泽1 天前
二百六十五、Hive——目前Hive数仓各层表样例
数据仓库·hive·hadoop
棉花糖灬1 天前
Hive常用函数
数据仓库·hive·hadoop