Flink 写入 Doris 常见报错和问题

字段数量、格式问题

task 一启动就会有明确的报错,直接调整即可

运行一会报错,报错中有个 doris 链接

可以通过链接访问拿到报错日志,里面有错误信息

长度之类的问题,自己调整字段长度,或者过滤

一些特殊字符,可能也会报字段数量长度不对之类的,但其实如果不对早就报了,大概率是默认 csv 导入,特殊字符导致的问题

可以调整一下写入方式,改为json,sink---doris 加个参数

复制代码
'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

INTERNAL_ERROR Cancelled END_OF_FILE Encountered unqualified data, stop processing, see more in null

这种也是运行一会报错,报错中没有链接,光说 see more in null 的

一般都是主键、分区键有问题

  • 主键字段中存在 null 值
  • 分区字段超过分区键的范围,比如分区从 2024 年开始,但数据中有 2020 年的数据
相关推荐
爱吃土豆的马铃薯ㅤㅤㅤㅤㅤㅤㅤㅤㅤ1 小时前
Spring‑AI Document 对象 JSON 字段详解
人工智能·spring·json
sunywz2 小时前
【从零搭建物联网智能充电桩系统】2、自定义二进制协议:设备为什么不用 JSON?
python·物联网·json
千舟软件2 小时前
千舟软件介绍 | 顺便聊聊我们做了哪些产品
大数据·数据库·科技·小程序·业界资讯
阿童木写作2 小时前
跨境电商图片翻译工具推荐:批量AI翻译+视频字幕+智能抠图
大数据·人工智能·python·音视频
QYR_Jodie3 小时前
高增赛道爆发!2026-2032工业制冷市场分析:预计2032年将达到174.4亿美元
大数据·人工智能·市场报告
数据百晓通3 小时前
2026 智能体重构数据治理:全链路 AI、云生态、场景嵌入赛道解析
大数据·运维·人工智能
渣渣盟4 小时前
Flink 单流转换算子深度解析:从 Map 到 Reduce 的流式处理基石
大数据·flink
灵析表格4 小时前
灵析表格手机号处理函数深度分析报告
前端·网络·json·wps·灵析表格·excel公式盒子
chanmama88884 小时前
品牌全域洞察怎么做?蝉妈妈拆解竞品策略
大数据·网络·人工智能·经验分享·社交电子
Tongzhi20264 小时前
考勤数据本地化存储:通芝科技无感考勤一体机的数据安全逻辑
大数据·数据结构·科技·均值算法·数据库开发·推荐算法