Flink 写入 Doris 常见报错和问题

字段数量、格式问题

task 一启动就会有明确的报错,直接调整即可

运行一会报错,报错中有个 doris 链接

可以通过链接访问拿到报错日志,里面有错误信息

长度之类的问题,自己调整字段长度,或者过滤

一些特殊字符,可能也会报字段数量长度不对之类的,但其实如果不对早就报了,大概率是默认 csv 导入,特殊字符导致的问题

可以调整一下写入方式,改为json,sink---doris 加个参数

复制代码
'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

INTERNAL_ERROR Cancelled END_OF_FILE Encountered unqualified data, stop processing, see more in null

这种也是运行一会报错,报错中没有链接,光说 see more in null 的

一般都是主键、分区键有问题

  • 主键字段中存在 null 值
  • 分区字段超过分区键的范围,比如分区从 2024 年开始,但数据中有 2020 年的数据
相关推荐
DashVector1 天前
如何通过HTTP API删除Doc
大数据·后端·云计算
Light601 天前
星火链智:领码SPARK融合平台与湖北数据知识产权综合服务平台全栈对接技术白皮书
大数据·零信任安全·领码spark·数据知识产权·ipaas集成·ai数据治理
beijingliushao1 天前
100-Spark Local模式部署
大数据·python·ajax·spark
一水鉴天1 天前
整体设计 定稿 之19 拼语言表述体系之2(codebuddy)
大数据·前端·人工智能·架构
科技观察1 天前
国产MATLAB替代软件的关键能力与生态发展现状
大数据·人工智能·matlab
梦里不知身是客111 天前
flink任务的UI提交方式
大数据·ui·flink
数据智研1 天前
【数据分享】古丝绸之路路线矢量数据
大数据·信息可视化·数据分析
上海蓝色星球1 天前
打破BIM应用“花瓶”窘境:让模型“活”在业务场景中
大数据·人工智能
鲸采云SRM采购管理系统1 天前
SRM采购系统:鲸采云如何实现全链路管控
大数据·人工智能
亿信华辰软件1 天前
从“数据资源”到“数据动能”,构建制造业增长新范式
大数据·人工智能