Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

Flink版本

1.17.2

错误描述

Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

通过flink中的flinkSql直接使用对应的connector去获取csv文件内容,报获取的数据太短了

可能原因

1.创建的表字段多于csv文件当中的表头

定位

在获取csv的时候,没有设置分割符,导致整个csv内容识别异常,匹配不上

解决方式

(1)当前问题解决

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

path为文件地址, fieldDelimiter为分隔符,文件内容是字段|字段的格式,所以fieldDelimiter为|

(2)字段忽略

配置'format.ignore-parse-errors' = 'true'忽略字段不同

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.ignore-parse-errors' = 'true'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

启用后,正常,但是上实际数据会缺失,适合字段是动态的场景,不适合排查是哪个字段不匹配的情况

相关推荐
geneculture3 小时前
《融智学:终结信息定义纷争的时代范式》 拓展分析述评
大数据·人工智能·信息科学·融智学的重要应用·哲学与科学统一性·融智时代(杂志)·比较分析
刘同学的 AI学习手记3 小时前
每日 AI PM 情报 · 2026-08-31
大数据·人工智能
Talordata4 小时前
從失控的價格爬蟲到可控的數據管線:一個跨境品牌數據團隊的重構手記
大数据·人工智能·ai·数据挖掘
IT小白杨4 小时前
Facebook广告账户环境隔离实战:从指纹自洽到代理固定的完整工程方案
大数据·经验分享·架构·facebook·指纹浏览器
鹏哥带你干乡墅4 小时前
优选乡墅赋能培训平台如何帮助提升乡村建设?
大数据·人工智能·python
AI服务老曹4 小时前
模型版本管理完整流程:景区文旅项目从0到1怎么做
大数据·人工智能
姜穆澜5 小时前
OneID 从 0 到 1 完整生产案例(三)
大数据·wpf
牛马之星5 小时前
气体涡轮流量计哪家好?天然气流量计源头厂家推荐与选型指南
大数据
jinggongszh5 小时前
欧盟电池护照背景下,电池制造企业如何构建MES数字化追溯体系
大数据·制造·mes系统·电池行业·生产制造执行系统
Allen_LVyingbo5 小时前
医疗AI基础2026-构建可靠智能体的编程路径(上)
大数据·数据库·人工智能·python·自动化