Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

Flink版本

1.17.2

错误描述

Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

通过flink中的flinkSql直接使用对应的connector去获取csv文件内容,报获取的数据太短了

可能原因

1.创建的表字段多于csv文件当中的表头

定位

在获取csv的时候,没有设置分割符,导致整个csv内容识别异常,匹配不上

解决方式

(1)当前问题解决

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

path为文件地址, fieldDelimiter为分隔符,文件内容是字段|字段的格式,所以fieldDelimiter为|

(2)字段忽略

配置'format.ignore-parse-errors' = 'true'忽略字段不同

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.ignore-parse-errors' = 'true'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

启用后,正常,但是上实际数据会缺失,适合字段是动态的场景,不适合排查是哪个字段不匹配的情况

相关推荐
小王毕业啦9 分钟前
2007-2024年 上市公司-投资者情绪数据(xlsx)
大数据·人工智能·数据挖掘·数据分析·数据统计·社科数据·经管数据
wwj202435 分钟前
红海云数字化如何赋能“十五五”人才规划高效落地
大数据·人工智能
TYFHVB121 小时前
2026工业级CRM系统选型攻略:6款主流产品深度评测与场景适配剖析
大数据·人工智能
岁岁种桃花儿1 小时前
Flink从入门到上天系列第五篇:Flink集群化部署模式
大数据·flink
AC赳赳老秦1 小时前
2026主权AI趋势:DeepSeek搭建企业自有可控AI环境,保障数据安全实战
大数据·数据库·人工智能·python·科技·rabbitmq·deepseek
莫叫石榴姐2 小时前
数据开发需求工时如何评估?
大数据·数据仓库·人工智能·数据分析·产品运营
培培说证2 小时前
2026 大专大数据技术专业证书含金量排名大专适用!
大数据
LaughingZhu2 小时前
Product Hunt 每日热榜 | 2026-02-13
大数据·人工智能·经验分享·搜索引擎·产品运营
廋到被风吹走3 小时前
DDD领域驱动设计深度解析:从理论到代码实践
java·大数据·linux