DataX将MySQL数据同步到HDFS中时，空值不处理可以吗

DataX将MySQL数据同步到HDFS中时，空值存到HDFS中时，默认是存储为\N，这样会有两个缺点：

1. 会产生歧义，如果MySQL业务数据中有\N数据，那么存储到HDFS上是\N，null值存储也是\N，当用Hive查询时，会用is null进行查询，那么会把真实的业务数据也查询为null，所以建议存储到HDFS上时，把null存储为''
2. 将HDFS的数据再导入MySQL时，会把\N存储进去，数据就不对了

处理方案有2个：

1. 不处理。那么datax会存储\N，hive会自动把\N查询为null。但是会产生歧义

2. 修改源码。

   1. 修改DataX HDFS Writer的源码，增加自定义null值存储格式的逻辑，可参考记Datax3.0解决MySQL抽数到HDFSNULL变为空字符的问题_datax nullformat_谭正强的博客-CSDN博客。

   2. 在Hive中建表时指定null值存储格式为空字符串（''），例如：

   DROP TABLE IF EXISTS base_province;
   CREATE EXTERNAL TABLE base_province
   (
       `id`         STRING COMMENT '编号',
       `name`       STRING COMMENT '省份名称',
       `region_id`  STRING COMMENT '地区ID',
       `area_code`  STRING COMMENT '地区编码',
       `iso_code`   STRING COMMENT '旧版ISO-3166-2编码，供可视化使用',
       `iso_3166_2` STRING COMMENT '新版IOS-3166-2编码，供可视化使用'
   ) COMMENT '省份表'
       ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
       NULL DEFINED AS ''
       LOCATION '/base_province/';

参考文章：

1. http://t.csdn.cn/WmEEW
2. hive 空值的处理