Flink 写入 Doris 常见报错和问题

字段数量、格式问题

task 一启动就会有明确的报错,直接调整即可

运行一会报错,报错中有个 doris 链接

可以通过链接访问拿到报错日志,里面有错误信息

长度之类的问题,自己调整字段长度,或者过滤

一些特殊字符,可能也会报字段数量长度不对之类的,但其实如果不对早就报了,大概率是默认 csv 导入,特殊字符导致的问题

可以调整一下写入方式,改为json,sink---doris 加个参数

复制代码
'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

INTERNAL_ERROR Cancelled END_OF_FILE Encountered unqualified data, stop processing, see more in null

这种也是运行一会报错,报错中没有链接,光说 see more in null 的

一般都是主键、分区键有问题

  • 主键字段中存在 null 值
  • 分区字段超过分区键的范围,比如分区从 2024 年开始,但数据中有 2020 年的数据
相关推荐
易连EDI—EasyLink18 小时前
Odette OFTP2 Group1/2/3深度解读:PDX XML能力划分与选型指南
大数据·电子数据交换·as2·易连edi·oftp2
凌晨一点的秃头猪18 小时前
Python JSON 模块核心函数超详细指南
json
大榕树信息科技18 小时前
高效动环监控赋能机房环境智能管理与数据可视化
大数据·网络·数据库·人工智能·信息可视化
GlobalInfo18 小时前
全球户外WiFi智能插头市场份额、规模、技术研究报告2026
大数据·网络·人工智能
于先生吖18 小时前
Java 智慧社区本地生活系统:上门服务 + 商城模块完整开发
java·大数据·生活
岁岁种桃花儿19 小时前
Flink从入门到上天系列第二十二篇:Flink中通过UI查看检查点
大数据·ui·flink
JZC_xiaozhong19 小时前
医疗器械行业供应商主数据管理:多视角下的破局与重构
大数据·数据库·重构·数据分析·mdm·主数据管理·数据集成与应用集成
Web3_Daisy19 小时前
Flap怎么玩?低门槛 Meme 币的发射与链上策略
大数据·人工智能·web3·区块链·比特币
石逸凡19 小时前
AI时代企业数据架构转型趋势一:分析数据集上移
大数据·人工智能·架构
TDengine (老段)19 小时前
TDengine IDMP 组态面板 —— 锚点
大数据·数据库·物联网·时序数据库·tdengine·涛思数据