Flink 写入 Doris 常见报错和问题

字段数量、格式问题

task 一启动就会有明确的报错,直接调整即可

运行一会报错,报错中有个 doris 链接

可以通过链接访问拿到报错日志,里面有错误信息

长度之类的问题,自己调整字段长度,或者过滤

一些特殊字符,可能也会报字段数量长度不对之类的,但其实如果不对早就报了,大概率是默认 csv 导入,特殊字符导致的问题

可以调整一下写入方式,改为json,sink---doris 加个参数

'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

INTERNAL_ERROR Cancelled END_OF_FILE Encountered unqualified data, stop processing, see more in null

这种也是运行一会报错,报错中没有链接,光说 see more in null 的

一般都是主键、分区键有问题

  • 主键字段中存在 null 值
  • 分区字段超过分区键的范围,比如分区从 2024 年开始,但数据中有 2020 年的数据
相关推荐
说私域2 小时前
信息时代的消费者行为变迁与应对策略:基于链动2+1模式、AI智能名片及S2B2C商城小程序的分析
大数据·人工智能·小程序
上海研博数据2 小时前
使用Flink-JDBC将数据同步到Doris
大数据·flink
十六ᵛᵃᵉ3 小时前
day07_Spark SQL
大数据·sql·spark
W_Meng_H4 小时前
ElasticSearch-Nested 类型与 Object 类型的区别
大数据·elasticsearch·搜索引擎
要养家的程序猿4 小时前
ElasticSearch在Windows环境搭建&测试
大数据·elasticsearch·搜索引擎
拓端研究室4 小时前
【专题】2025年节日营销趋势洞察报告汇总PDF洞察(附原数据表)
大数据
摇光~4 小时前
【数据仓库】— 5分钟浅谈数据仓库(适合新手)从理论到实践
大数据·数据库·数据仓库·spark·etl
yuanbenshidiaos5 小时前
【大数据】机器学习-----最开始的引路
大数据·人工智能·机器学习
风_流沙5 小时前
java fastjson2将 map、实体类、list等 类型转换为JSON介绍
java·json·list
weixin_307779136 小时前
PySpark用sort-merge join解决数据倾斜的完整案例
大数据·python·spark