Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

Flink版本

1.17.2

错误描述

Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

通过flink中的flinkSql直接使用对应的connector去获取csv文件内容,报获取的数据太短了

可能原因

1.创建的表字段多于csv文件当中的表头

定位

在获取csv的时候,没有设置分割符,导致整个csv内容识别异常,匹配不上

解决方式

(1)当前问题解决

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

path为文件地址, fieldDelimiter为分隔符,文件内容是字段|字段的格式,所以fieldDelimiter为|

(2)字段忽略

配置'format.ignore-parse-errors' = 'true'忽略字段不同

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.ignore-parse-errors' = 'true'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

启用后,正常,但是上实际数据会缺失,适合字段是动态的场景,不适合排查是哪个字段不匹配的情况

相关推荐
良策金宝AI1 小时前
全球工程软件格局重塑:中国AI原生平台的机会窗口
大数据·运维·人工智能
赵谨言1 小时前
基于OpenCV的图像梯度与边缘检测研究
大数据·开发语言·经验分享·python
Hello.Reader1 小时前
Flink SQL ALTER 语句在线演进 Table/View/Function/Catalog/Model
数据库·sql·flink
pale_moonlight2 小时前
十二、大数据数据可视化实战
大数据·信息可视化
拓端研究室2 小时前
专题:2025医疗行业核心洞察报告:AI医疗、医疗器械、投融资与新药|附380+份报告PDF、数据、可视化模板汇总下载
大数据·人工智能
Jackyzhe2 小时前
Flink源码阅读:如何生成ExecutionGraph
大数据·flink
跨境卫士情报站2 小时前
亚马逊格局巨变!AI 助手重构购物逻辑,卖家如何顺势突围?
大数据·人工智能·重构·产品运营·跨境电商·防关联
Guheyunyi3 小时前
用电安全管理系统的三大系统架构
大数据·运维·人工智能·安全·架构·系统架构
xinyaokeji3 小时前
从“小生态”到“大生态”,艺龙酒店科技以生态体系驱动产业革新
大数据·科技
Hello.Reader3 小时前
Flink SQL DROP 语句安全删除 Catalog / Table / DB / View / Function / Model
数据库·sql·flink