CSV文件数据导入hive

一、加载CSV文件数据到hive表步骤:

1、Hive上建表,通常会指定字段分隔符为逗号(row format delimited fields terminated by ',' )

2、导入CSV文件

二、实操

以csv 文件中出现字段中含有逗号的场景为例:{"2020": "1","2022": "8","2024": "25"}

1、建表

sql 复制代码
CREATE TABLE ads.mem_continue_order_y (
member_id               string   comment '会员号'
,trans_info              string   comment '消费订单-年汇总信息')
COMMENT '会员连续下单_年_推送表'
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde' -- 使用 OpenCSVSerde 作为数据序列化程序
with serdeproperties (
'separatorChar' = ',', -- 分隔符
'quoteChar' = '"', -- 引号包围符号
'escapeChar' = '\' -- 转义字符
)
tblproperties("skip.header.line.count"="1") -- 跳过文件首行(当csv存在文件头的情况)
;

如果不使用tblproperties("skip.header.line.count"="1"),也可用sed -i '1d' 文件名 删除文件首行

2、加载CSV文件数据:

此处的文件目录是linux本地文件目录,所以是LOCAL INPATH

sql 复制代码
LOAD DATA LOCAL INPATH '/home/bgyetl/etl/tmp/mem_continue_order_y.csv' overwrite INTO TABLE ads.mem_continue_order_y;
相关推荐
The Sheep 20237 小时前
WPF自定义路由事件
大数据·hadoop·wpf
还是大剑师兰特16 小时前
Hadoop面试题及详细答案 110题 (86-95)-- Hadoop生态系统工具
hadoop·大剑师·hadoop面试题
yumgpkpm16 小时前
CMP (类Cloudera) CDP7.3(400次编译)在华为鲲鹏Aarch64(ARM)信创环境中的性能测试过程及命令
大数据·hive·hadoop·python·elasticsearch·spark·cloudera
Q264336502317 小时前
大数据实战项目-基于K-Means算法与Spark的豆瓣读书数据分析与可视化系统-基于python的豆瓣读书数据分析与可视化大屏
大数据·hadoop·机器学习·数据分析·spark·毕业设计·kmeans
大数据CLUB19 小时前
基于spark的抖音短视频数据分析及可视化
大数据·hadoop·分布式·数据分析·spark
yumgpkpm19 小时前
大数据综合管理平台(CMP)(类Cloudera CDP7.3)有哪些核心功能?
hive·hadoop·elasticsearch·zookeeper·big data
板凳坐着晒太阳19 小时前
Hive 删除分区语句卡死问题
数据仓库·hive·hadoop
Q26433650231 天前
【有源码】基于Hadoop生态的大数据共享单车数据分析与可视化平台-基于Python与大数据的共享单车多维度数据分析可视化系统
大数据·hadoop·python·机器学习·数据分析·spark·毕业设计
计算机毕业设计木哥1 天前
计算机毕设选题推荐:基于Hadoop和Python的游戏销售大数据可视化分析系统
大数据·开发语言·hadoop·python·信息可视化·spark·课程设计
嘉禾望岗5032 天前
hive on tez运行及hive ha搭建
数据仓库·hive·hadoop