Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

Flink版本

1.17.2

错误描述

Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

通过flink中的flinkSql直接使用对应的connector去获取csv文件内容,报获取的数据太短了

可能原因

1.创建的表字段多于csv文件当中的表头

定位

在获取csv的时候,没有设置分割符,导致整个csv内容识别异常,匹配不上

解决方式

(1)当前问题解决

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

path为文件地址, fieldDelimiter为分隔符,文件内容是字段|字段的格式,所以fieldDelimiter为|

(2)字段忽略

配置'format.ignore-parse-errors' = 'true'忽略字段不同

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.ignore-parse-errors' = 'true'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

启用后,正常,但是上实际数据会缺失,适合字段是动态的场景,不适合排查是哪个字段不匹配的情况

相关推荐
熬夜的咕噜猫5 分钟前
GlusterFS 分布式文件系统
大数据
csgo打的菜又爱玩12 分钟前
7.DispatcherResourceManagerComponentFactory解析.md
开发语言·python·flink
一个程序猿老马18 分钟前
003、Git核心概念:仓库、工作区、暂存区、版本库
大数据·git·elasticsearch
智星云算力23 分钟前
算力民主化的 “临界点”:RTX 5090 专属算力平台专项测评与租用实战分析
大数据·人工智能·gpu算力·智星云·gpu租用
我是发哥哈25 分钟前
主流AI培训机构能力横向评测:核心维度与选型要点解析
大数据·人工智能·学习·机器学习·ai·chatgpt·aigc
QYR-分析28 分钟前
电气化浪潮下,电池液体冷却器行业发展全景解析
大数据·人工智能
一个程序猿老马35 分钟前
005、Git三板斧(1):git add - 将文件纳入版本管理
大数据·git·elasticsearch
Guheyunyi38 分钟前
智能巡检管理系统实现安全与效率双飞跃
大数据·人工智能·安全·架构·能源
cy_cy00239 分钟前
从旁观到参与,体感游戏赋能教育展厅
大数据·科技·人机交互·交互·软件构建
IT观测40 分钟前
物联网时代的“连接者”:解码西安摩高互动的软硬一体化开发实践
大数据·人工智能