Flink Format系列(2)-CSV

Flink的csv格式支持读和写csv格式的数据,只需要指定 'format' = 'csv',下面以kafka为例。

CREATE TABLE user_behavior (
  user_id BIGINT,
  item_id BIGINT,
  category_id BIGINT,
  behavior STRING,
  ts TIMESTAMP(3)
) WITH (
 'connector' = 'kafka',
 'topic' = 'user_behavior',
 'properties.bootstrap.servers' = 'localhost:9092',
 'properties.group.id' = 'testGroup',
 'format' = 'csv',
 'csv.ignore-parse-errors' = 'true',
 'csv.allow-comments' = 'true'
)

关键配置的说明

csv.ignore-parse-errors:就是在解析csv失败时是否报错

csv.allow-comments:是否允许有注释行(即#开头的行)

csv.field-delimiter:csv的字段分隔符,默认是逗号,

csv.quote-character:csv包裹字段值的符号,默认是" 。要注意该值的作用,比如如果字段包含换行符、双引号和/或逗号的字段应当被""包裹。字段值本身包含引号的话,一个(双)引号字符必须被表示为两个(双)引号字符。即 """" 表示了字段值 "

csv.disable-quote-character:是否禁用引号来包裹字段值,默认值是false,假如设置为true,则csv.quote-character将不能设置。

csv.escape-character:转义字符来转义,默认值空,即不可用

csv类型和flink sql类型的对应关系

相关推荐
java1234_小锋12 分钟前
详细描述一下Elasticsearch索引文档的过程?
大数据·elasticsearch·搜索引擎
黄焖鸡能干四碗13 分钟前
【软件设计文档】详细设计说明书模板和实际项目案例参照,概要设计说明书,需求设计书,软件设计报告(Word原件)
大数据·软件需求·设计规范·规格说明书·1024程序员节
股票GPT分析1 小时前
《Python 股票交易分析:开启智能投资新时代》(二)
大数据·服务器·python·c#·fastapi
Viktor_Ye2 小时前
实现金蝶云星空与钉钉数据无缝集成的技术方法
java·大数据·钉钉
Mephisto.java3 小时前
【大数据学习 | Spark-Core】关于distinct算子
大数据·hive·hadoop·redis·spark·hbase
King's King3 小时前
蜜雪冰城也入局智慧物流,包括智能控制系统集成、机器人研发销售,开始招兵买马了...
大数据·人工智能·机器人
十二点的泡面3 小时前
大数据面试题每日练习-- Hadoop是什么?
大数据·hadoop·分布式
说私域4 小时前
社交电商专业赋能高校教育与产业协同发展:定制开发AI智能名片及2+1链动商城小程序的创新驱动
大数据·人工智能·小程序
Kika写代码6 小时前
【大数据技术基础】 课程 第8章 数据仓库Hive的安装和使用 大数据基础编程、实验和案例教程(第2版)
大数据·数据仓库·hive
zhixingheyi_tian6 小时前
Spark 之 SparkSessionExtensions
大数据·分布式·spark