Flink 写入 Doris 常见报错和问题

字段数量、格式问题

task 一启动就会有明确的报错,直接调整即可

运行一会报错,报错中有个 doris 链接

可以通过链接访问拿到报错日志,里面有错误信息

长度之类的问题,自己调整字段长度,或者过滤

一些特殊字符,可能也会报字段数量长度不对之类的,但其实如果不对早就报了,大概率是默认 csv 导入,特殊字符导致的问题

可以调整一下写入方式,改为json,sink---doris 加个参数

复制代码
'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

INTERNAL_ERROR Cancelled END_OF_FILE Encountered unqualified data, stop processing, see more in null

这种也是运行一会报错,报错中没有链接,光说 see more in null 的

一般都是主键、分区键有问题

  • 主键字段中存在 null 值
  • 分区字段超过分区键的范围,比如分区从 2024 年开始,但数据中有 2020 年的数据
相关推荐
CALL158119098452 小时前
从GB/T 14644到ASTM D6413,纺织品燃烧性能标准有哪些
大数据·人工智能
zyseo83 小时前
GEO 内容可引用性体检:5 分钟检查页面是否容易被 AI 引用
大数据·人工智能
大大大大晴天3 小时前
每天认识一个组件:Apache HBase
大数据
不会写代码的女程序猿3 小时前
智慧中医设备踩坑实录:商用 AI 四诊仪选购避坑指南
大数据·明理ai四诊仪·ai四诊仪选型·康养数字化
叶子丶苏3 小时前
VibeCoding实战三个AI小项目-VibeCoding入门笔记02
大数据·人工智能·笔记
土生土长的IU3 小时前
今日论题-AI革命对互联网的影响
大数据·人工智能
pusheng20254 小时前
普晟传感再获“消防产业核心配套优质品牌”:以可靠传感技术,让全球合规变简单
大数据·前端·人工智能·物联网·安全
sunshine8854 小时前
集成电路(IC)设计与封测行业10大常用ERP系统分析
大数据·数据库·人工智能
Mr清奇4 小时前
AI辅助开发笔记(1)开发工具和配置
大数据·笔记·intellij idea
国际学术会议-杨老师4 小时前
2027年人文发展、城市管理与数字化社会国际会议(HUCD 2027)
大数据·人工智能·人文发展