Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

Flink版本

1.17.2

错误描述

Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

通过flink中的flinkSql直接使用对应的connector去获取csv文件内容,报获取的数据太短了

可能原因

1.创建的表字段多于csv文件当中的表头

定位

在获取csv的时候,没有设置分割符,导致整个csv内容识别异常,匹配不上

解决方式

(1)当前问题解决

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

path为文件地址, fieldDelimiter为分隔符,文件内容是字段|字段的格式,所以fieldDelimiter为|

(2)字段忽略

配置'format.ignore-parse-errors' = 'true'忽略字段不同

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.ignore-parse-errors' = 'true'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

启用后,正常,但是上实际数据会缺失,适合字段是动态的场景,不适合排查是哪个字段不匹配的情况

相关推荐
互联圈运营观察9 分钟前
深圳干式变压器智能温控箱哪家强?2026年专业测评与选型指南
大数据·人工智能
TDengine (老段)28 分钟前
TDengine MemTable 深度解析 — 内存写入缓冲区的数据结构与生命周期
大数据·数据结构·数据库·物联网·时序数据库·tdengine·涛思数据
CableTech_SQH1 小时前
上海大歌剧院工程综合布线解决方案分析报告
大数据·网络·数据库·5g·信息与通信
斯普润布特1 小时前
StreamX(StreamPark 2.1.7) 更改人大金仓KES数据存储-Docker 版
docker·flink·iot
福老板的生意经1 小时前
AI重构短视频营销:一站式创作分发系统的落地场景与商业价值分析
大数据·人工智能
cd_949217211 小时前
云工场科技推进CPU+GPU协同推理,推动大模型应用降本增效
大数据·人工智能·科技
风途科技~1 小时前
全天候实时管控,在线水质监测仪守护水环境安全
大数据·运维·安全
不吃鱼的羊2 小时前
提交代码添加Change-Id
大数据·elasticsearch·搜索引擎
谁似人间西林客2 小时前
汽车智能制造如何解决混线生产与质量追溯难题?
大数据·汽车·制造
thubier(段新建)2 小时前
三方物流平台架构选型:统一商品SKU vs 客户自定义SKU,2026行业最优解复盘
大数据