hive多分隔符外表支持

在hive 外表关联文本的时候 有时会遇到不是一个长度的分割符比如"~@" 这种。这个时候使用shell命令多处理一步处理成单分隔符也可以,但是会有出错的风险。我们可以通过hive中指定的序列类来完成多分隔符的识别。

复制代码
CREATE EXTERNAL TABLE text_mid1(
id STRING ,name STRING 
)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' 
WITH SERDEPROPERTIES('input.delimited'='~@' )      -- 指定分隔符s
LOCATION '/tmp/multidelimit_txt'
;

需要在 SERDE中指定 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe 类

然后在WITH SERDEPROPERTIES 指定'input.delimited'='@'

相关推荐
lifallen22 分钟前
从Apache Doris 学习 HyperLogLog
java·大数据·数据仓库·算法·apache
doll ~CJ2 小时前
数据仓库与数据挖掘基础知识
数据仓库·数据挖掘
智海观潮3 小时前
HBase高级特性、rowkey设计以及热点问题处理
大数据·hadoop·hbase
数据要素X20 小时前
寻梦数据空间 | 架构篇:从概念到落地的技术实践与突破性创新
大数据·运维·数据仓库·微服务·数据治理·数据中台·可信数据空间
IT学长编程1 天前
计算机毕业设计 基于EChants的海洋气象数据可视化平台设计与实现 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·python·毕业设计·课程设计·毕业论文·海洋气象数据可视化平台
呆呆小金人1 天前
SQL入门: HAVING用法全解析
大数据·数据库·数据仓库·sql·数据库开发·etl·etl工程师
一起喝芬达20101 天前
当数据仓库遇见AI:金融风控的「认知大脑」正在觉醒
数据仓库·人工智能
Yana_Zeng1 天前
win10安装spark3.1详细流程(小白用)
hadoop·windows·spark
笨蛋少年派1 天前
HDFS简介
大数据·hadoop·hdfs
jianmin09202 天前
Python高效数据分析从入门到实战的七个步骤
数据仓库