Flink 写入 Doris 常见报错和问题

字段数量、格式问题

task 一启动就会有明确的报错,直接调整即可

运行一会报错,报错中有个 doris 链接

可以通过链接访问拿到报错日志,里面有错误信息

长度之类的问题,自己调整字段长度,或者过滤

一些特殊字符,可能也会报字段数量长度不对之类的,但其实如果不对早就报了,大概率是默认 csv 导入,特殊字符导致的问题

可以调整一下写入方式,改为json,sink---doris 加个参数

复制代码
'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

INTERNAL_ERROR Cancelled END_OF_FILE Encountered unqualified data, stop processing, see more in null

这种也是运行一会报错,报错中没有链接,光说 see more in null 的

一般都是主键、分区键有问题

  • 主键字段中存在 null 值
  • 分区字段超过分区键的范围,比如分区从 2024 年开始,但数据中有 2020 年的数据
相关推荐
dragonzoebai40 分钟前
ol加载互联网瓦片大于18级时空白
大数据
AI营销快线1 小时前
AI营销下半场:B2B选型指南
大数据·人工智能
一只专注api接口开发的技术猿2 小时前
构建电商数据中台:基于淘宝 API 关键词搜索接口的设计与实现
大数据·开发语言·数据库
LaughingZhu3 小时前
Product Hunt 每日热榜 | 2025-12-01
大数据·人工智能·经验分享·搜索引擎·产品运营
TOYOAUTOMATON3 小时前
自动化工业夹爪
大数据·人工智能·算法·目标检测·机器人
浩浩测试一下3 小时前
C&&汇编中的调用约定
大数据·汇编·安全·web安全·网络安全·系统安全
鹿衔`3 小时前
CDH 6.3.2 集群外挂部署 Spark 3.5.7 连接 Paimon 1.1.1 (二)
大数据·分布式·spark
aitoolhub4 小时前
课程表模板在线制作:稿定设计的实用方案
大数据·深度学习·教育电商·在线设计·教育培训
2301_800256115 小时前
8.3 查询优化 核心知识点总结
大数据·数据库·人工智能·sql·postgresql
samFuB5 小时前
【工具变量】全国社保落户制度改革城市DID数据(2010-2025年)
大数据