Flink 写入 Doris 常见报错和问题

字段数量、格式问题

task 一启动就会有明确的报错,直接调整即可

运行一会报错,报错中有个 doris 链接

可以通过链接访问拿到报错日志,里面有错误信息

长度之类的问题,自己调整字段长度,或者过滤

一些特殊字符,可能也会报字段数量长度不对之类的,但其实如果不对早就报了,大概率是默认 csv 导入,特殊字符导致的问题

可以调整一下写入方式,改为json,sink---doris 加个参数

复制代码
'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

INTERNAL_ERROR Cancelled END_OF_FILE Encountered unqualified data, stop processing, see more in null

这种也是运行一会报错,报错中没有链接,光说 see more in null 的

一般都是主键、分区键有问题

  • 主键字段中存在 null 值
  • 分区字段超过分区键的范围,比如分区从 2024 年开始,但数据中有 2020 年的数据
相关推荐
新缸中之脑几秒前
Meta新模型Muse Spark上手体验
大数据·分布式·spark
JZC_xiaozhong3 分钟前
2026年制造企业数据治理:破解多系统数据孤岛,实现“一数一源”
大数据·数据分析·制造·数据一致性·主数据管理·数据孤岛解决方案·数据集成与应用集成
被放养的研究生12 分钟前
vscode-settings.json
ide·vscode·json
咕噜签名-铁蛋13 分钟前
大模型Token Plan详解:选型、优化与成本控制全攻略
大数据·运维·人工智能
互联网科技看点20 分钟前
诸葛智能入选IDC最新报告:以营销智能体驱动金融增长
大数据·人工智能·金融
tian_jiangnan23 分钟前
flink mysql集群增删改查
大数据·mysql·flink
xcbrand24 分钟前
工业制造品牌全案公司找哪家
大数据·人工智能·python·制造
Guheyunyi27 分钟前
无人机巡检系统,高效精准守护全场景安全
大数据·人工智能·科技·安全·架构·无人机
蓝耘智算32 分钟前
Token经济学:读懂AI时代的“新石油”
大数据·人工智能·ai·token·蓝耘
上海达策TECHSONIC42 分钟前
汽车零配件 SAP 转型数字化标杆 上海达策实施 SAP Business One 赋能汽车底盘转向领域
大数据·运维·人工智能·汽车·运维开发·制造