Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

Flink版本

1.17.2

错误描述

Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

通过flink中的flinkSql直接使用对应的connector去获取csv文件内容,报获取的数据太短了

可能原因

1.创建的表字段多于csv文件当中的表头

定位

在获取csv的时候,没有设置分割符,导致整个csv内容识别异常,匹配不上

解决方式

(1)当前问题解决

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

path为文件地址, fieldDelimiter为分隔符,文件内容是字段|字段的格式,所以fieldDelimiter为|

(2)字段忽略

配置'format.ignore-parse-errors' = 'true'忽略字段不同

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.ignore-parse-errors' = 'true'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

启用后,正常,但是上实际数据会缺失,适合字段是动态的场景,不适合排查是哪个字段不匹配的情况

相关推荐
大大大大晴天️1 小时前
Flink技术实践-Flink SQL 开发中的隐蔽陷阱
大数据·sql·flink
Gofarlic_OMS2 小时前
Windchill的license合规使用报告自动化生成与审计追踪系统
大数据·运维·人工智能·云原生·自动化·云计算
xcbrand2 小时前
文旅行业品牌策划公司找哪家
大数据·运维·人工智能·python
zxsz_com_cn3 小时前
设备预测性维护故障预警规则与原理解析
大数据·人工智能
hughnz4 小时前
AI和自动化让油田钻工慢慢消失
大数据·人工智能
juniperhan4 小时前
Flink 系列第8篇:Flink Checkpoint 全解析(原理+流程+配置+优化)
大数据·分布式·flink
GIS数据转换器4 小时前
延凡低成本低空无人机AI巡检方案
大数据·人工智能·信息可视化·数据挖掘·无人机
七夜zippoe5 小时前
OpenClaw 子代理(Subagent)机制详解
大数据·人工智能·subagent·openclaw·子代理
财经三剑客5 小时前
长安汽车3月销量超27万辆 海外及新能源环比大幅增长
大数据·人工智能·汽车
ClouGence5 小时前
不用搭复杂系统,也能做跨地域数据迁移?
大数据·数据库·saas