Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

Flink版本

1.17.2

错误描述

Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

通过flink中的flinkSql直接使用对应的connector去获取csv文件内容,报获取的数据太短了

可能原因

1.创建的表字段多于csv文件当中的表头

定位

在获取csv的时候,没有设置分割符,导致整个csv内容识别异常,匹配不上

解决方式

(1)当前问题解决

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

path为文件地址, fieldDelimiter为分隔符,文件内容是字段|字段的格式,所以fieldDelimiter为|

(2)字段忽略

配置'format.ignore-parse-errors' = 'true'忽略字段不同

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.ignore-parse-errors' = 'true'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

启用后,正常,但是上实际数据会缺失,适合字段是动态的场景,不适合排查是哪个字段不匹配的情况

相关推荐
相思半1 天前
数据偏见去偏方法系统方法论学习(基础知识+实践运用)-新手友好版
大数据·人工智能·python·深度学习·机器学习·数据分析
代码方舟1 天前
Python对接天远数据多头借贷API:AES加密解密、代码实现与数据深度解析
大数据·api
@YDWLCloud1 天前
出海 APP 如何降低延迟?腾讯云国际版 GME 音视频深度评测
大数据·服务器·云计算·音视频·腾讯云
LeonIter1 天前
国家按产业占比分类,我国纳入哪类?
大数据·人工智能
俊哥大数据1 天前
【项目实战1】大数据项目开发案例---新闻资讯离线分析|实时分析|大数据仓库|推荐系统|数据可视化项目
数据仓库·hadoop·flink·spark·推荐系统·实时分析·离线分析
电商API_180079052471 天前
Python爬虫从入门到实战:核心技术与合规指南
大数据·数据库·爬虫
CNRio1 天前
数字经济健康发展的双维路径:技术伦理与产业价值的重构
大数据·人工智能·重构
AI营销干货站1 天前
2025金融风控:AI实战四步法
大数据·人工智能
秋刀鱼 ..1 天前
第二届电力电子技术与电网系统国际学术会议(PETGS 2026)
大数据·python·计算机网络·数学建模·机器人·制造
HelloReader1 天前
Spark RDD 编程从驱动程序到共享变量、Shuffle 与持久化
大数据