Flink 写入 Doris 常见报错和问题

字段数量、格式问题

task 一启动就会有明确的报错,直接调整即可

运行一会报错,报错中有个 doris 链接

可以通过链接访问拿到报错日志,里面有错误信息

长度之类的问题,自己调整字段长度,或者过滤

一些特殊字符,可能也会报字段数量长度不对之类的,但其实如果不对早就报了,大概率是默认 csv 导入,特殊字符导致的问题

可以调整一下写入方式,改为json,sink---doris 加个参数

复制代码
'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

INTERNAL_ERROR Cancelled END_OF_FILE Encountered unqualified data, stop processing, see more in null

这种也是运行一会报错,报错中没有链接,光说 see more in null 的

一般都是主键、分区键有问题

  • 主键字段中存在 null 值
  • 分区字段超过分区键的范围,比如分区从 2024 年开始,但数据中有 2020 年的数据
相关推荐
蓝眸少年CY1 天前
Hbase - 入门到实战
大数据·数据库·hbase
拾光向日葵1 天前
南京林业大学2026年硕士研究生跨门类调剂政策详解
大数据·人工智能·物联网
财经资讯数据_灵砚智能1 天前
基于全球经济类多源新闻的NLP情感分析与数据可视化(日间)2026年4月7日
大数据·人工智能·python·信息可视化·语言模型·自然语言处理·ai编程
大树881 天前
【无标题】
大数据·运维·服务器·人工智能
Rabbit_QL1 天前
【Git基础】03——Git 撤销与回退:改错了怎么办
大数据·git·elasticsearch
电商API&Tina1 天前
跨境电商如何接入1688官方寻源通接口?附接入流程
java·数据库·python·sql·oracle·json·php
安科瑞小许1 天前
35kV变电站的“智慧大脑”——综合自动化系统
大数据·网络·变电站·零碳园区
相九辞1 天前
系统运维第1期:什么是系统运维?
大数据
tian_jiangnan1 天前
Flink checkopint使用教程
大数据·flink
武子康1 天前
大数据-262 实时数仓 - Canal 同步数据实战指南 实时统计
大数据·hadoop·后端