Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

Flink版本

1.17.2

错误描述

Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

通过flink中的flinkSql直接使用对应的connector去获取csv文件内容,报获取的数据太短了

可能原因

1.创建的表字段多于csv文件当中的表头

定位

在获取csv的时候,没有设置分割符,导致整个csv内容识别异常,匹配不上

解决方式

(1)当前问题解决

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

path为文件地址, fieldDelimiter为分隔符,文件内容是字段|字段的格式,所以fieldDelimiter为|

(2)字段忽略

配置'format.ignore-parse-errors' = 'true'忽略字段不同

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.ignore-parse-errors' = 'true'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

启用后,正常,但是上实际数据会缺失,适合字段是动态的场景,不适合排查是哪个字段不匹配的情况

相关推荐
YangYang9YangYan18 分钟前
大专生考研深度解析与科学备考指南
大数据·考研
0***R5151 小时前
大数据进阶
大数据
MaisieKim_1 小时前
数据驱动与直觉决策冲突时该怎么办
大数据
lucky_syq2 小时前
再谈向量数据库:AI时代的存储新引擎
大数据·数据库·人工智能
蒋星熠7 小时前
实证分析:数据驱动决策的技术实践指南
大数据·python·数据挖掘·数据分析·需求分析
搞科研的小刘选手9 小时前
【同济大学主办】第十一届能源资源与环境工程研究进展国际学术会议(ICAESEE 2025)
大数据·人工智能·能源·材质·材料工程·地理信息
七号练习生.c10 小时前
Git常用命令速查
大数据·git
谅望者12 小时前
数据分析笔记14:Python文件操作
大数据·数据库·笔记·python·数据挖掘·数据分析
YisquareTech12 小时前
如何实现智能补货?EDI与ERP集成打造零售库存的“自动闭环”
大数据·人工智能·零售·伊士格科技·erp集成
观远数据12 小时前
数据驱动零售新生态:观远BI打造终端经营“透视镜”
大数据·人工智能·信息可视化·数据分析·零售