Hive 导入csv文件，数据中包含逗号的问题

冷漠；2023-08-27 19:21

问题

今天 Hive 导入 csv 文件时，开始时建表语句如下：

sql 复制代码

CREATE TABLE IF NOT EXISTS test.student (
    name STRING COMMENT '姓名',
    age STRING COMMENT '年龄',
    gender STRING COMMENT '性别',
    other_info STRING COMMENT '其他信息'
)
COMMENT '学生信息表'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

然后导入 csv 文件，发现数据串列了，查看数据发现是因为数据中包含逗号的问题，因为 csv 文件列分隔符就为逗号，所以直接导入到表中会使数据串列。

解决办法

查询资料发现是建表语句的问题，所以我们要需要在建表的时候指定列包围符号。如下：

sql 复制代码

CREATE TABLE IF NOT EXISTS test.student (
    name STRING COMMENT '姓名',
    age STRING COMMENT '年龄',
    gender STRING COMMENT '性别',
    other_info STRING COMMENT '其他信息'
)
COMMENT '学生信息表'
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
    'separatorChar' = ',',
    'quoteChar' = '"',
    'escapeChar' = '\\'
)
STORED AS TEXTFILE;

使用 OpenCSVSerde 作为数据序列化程序，并通过 SERDEPROPERTIES 指定 separatorChar（分隔符）和 quoteChar（引号包围符号）以及 escapeChar （转义字符）的值。

默认 csv 文件的分隔符、引号和转义字符（如果未指定）

复制代码

DEFAULT_ESCAPE_CHARACTER \
DEFAULT_QUOTE_CHARACTER  "
DEFAULT_SEPARATOR        ,