Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

Flink版本

1.17.2

错误描述

Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

通过flink中的flinkSql直接使用对应的connector去获取csv文件内容,报获取的数据太短了

可能原因

1.创建的表字段多于csv文件当中的表头

定位

在获取csv的时候,没有设置分割符,导致整个csv内容识别异常,匹配不上

解决方式

(1)当前问题解决

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

path为文件地址, fieldDelimiter为分隔符,文件内容是字段|字段的格式,所以fieldDelimiter为|

(2)字段忽略

配置'format.ignore-parse-errors' = 'true'忽略字段不同

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.ignore-parse-errors' = 'true'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

启用后,正常,但是上实际数据会缺失,适合字段是动态的场景,不适合排查是哪个字段不匹配的情况

相关推荐
AI营销干货站12 分钟前
原圈科技AI市场分析指南:实时洞察,决胜2026!
大数据·人工智能
技小宝22 分钟前
Excel网页抓取:批量获取亚马逊商品主图
大数据·经验分享·职场和发展·excel
智慧化智能化数字化方案1 小时前
详解DCMM评估流程及方案【附全文阅读】
大数据·dcmm评估流程及方案
雷焰财经1 小时前
持续推进国际金融合作:宇信科技的东南亚布局与价值共创之路
大数据·人工智能·科技
Leo.yuan1 小时前
中国特色的数据库需求:不是技术最强,而是领导汇报PPT最漂亮?
大数据·数据库·大屏端·技术选型
问君能有几多愁~2 小时前
Git 上库流程培训文档
大数据·git·elasticsearch
CCPC不拿奖不改名2 小时前
提示词工程(Prompt Engineering)全体系知识手册
大数据·人工智能·python·搜索引擎·prompt
ruxshui2 小时前
Inceptor/hive中整数类型分桶键数据倾斜问题及优化方案
大数据·数据库·sql
【赫兹威客】浩哥2 小时前
【赫兹威客】伪分布式Spark测试教程
大数据·分布式·spark
CDA数据分析师干货分享2 小时前
【CDA干货】预测建模——CLV与营收趋势预测——电商用户数据分析全流程:从数据到增长决策
大数据·数据挖掘·数据分析·cda证书·cda数据分析师