Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

Flink版本

1.17.2

错误描述

Caused by: org.apache.flink.api.common.io.ParseException: Row too short:

通过flink中的flinkSql直接使用对应的connector去获取csv文件内容,报获取的数据太短了

可能原因

1.创建的表字段多于csv文件当中的表头

定位

在获取csv的时候,没有设置分割符,导致整个csv内容识别异常,匹配不上

解决方式

(1)当前问题解决

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

path为文件地址, fieldDelimiter为分隔符,文件内容是字段|字段的格式,所以fieldDelimiter为|

(2)字段忽略

配置'format.ignore-parse-errors' = 'true'忽略字段不同

" 'connector.type' = 'filesystem'," +

" 'format.type' = 'csv'," +

" 'connector.path' = '" + path + "'," +

" 'format.ignore-parse-errors' = 'true'," +

" 'format.field-delimiter' = '" + fieldDelimiter + "'" +

启用后,正常,但是上实际数据会缺失,适合字段是动态的场景,不适合排查是哪个字段不匹配的情况

相关推荐
qyr6789几秒前
全球AI服务器DAC线缆市场发展趋势与未来趋势展望
大数据·人工智能·数据分析·汽车·ai服务器·ai服务器dac线缆
阳光普照世界和平9 分钟前
软件工程 3.0:大模型驱动的研发新范式,重塑软件全生命周期
大数据
小付爱coding10 分钟前
Claude Code 设计哲学深度解析:从 Prompt 到 Harness 的 Agent 工程实践
大数据·elasticsearch·prompt
智能化咨询12 分钟前
(200页PPT)DG1005企业IT战略规划架构设计方案(附下载方式)
大数据·人工智能
飞鸟恋上鱼13 分钟前
基于Spark的短视频推荐系统设计与实现
大数据·分布式·spark
juniperhan14 分钟前
Flink 系列第13篇:Flink 生产环境中的并行度与资源配置
java·大数据·数据仓库·分布式·flink
AllData公司负责人15 分钟前
AllData数据中台通过开源项目AirFlow建设离线开发IDE,打造大数据离线调度引擎
大数据·python·资源管理·数据中台·airflow·离线调度·离线开发
Francek Chen15 分钟前
【IoTDB】工业物联网时序数据库优选:Apache IoTDB的显著优势
大数据·数据库·物联网·时序数据库·iotdb
智能化咨询15 分钟前
(194页PPT)西门子PLM产品协同研发平台建设规划方案(附下载方式)
大数据
源码之家17 分钟前
计算机毕业设计:Python电商农产品销售数据分析可视化系统 Flask框架 数据分析 可视化 机器学习 数据挖掘 大数据 大模型(建议收藏)✅
大数据·python·机器学习·数据挖掘·数据分析·flask·课程设计