Flink 写入 Doris 常见报错和问题

字段数量、格式问题

task 一启动就会有明确的报错,直接调整即可

运行一会报错,报错中有个 doris 链接

可以通过链接访问拿到报错日志,里面有错误信息

长度之类的问题,自己调整字段长度,或者过滤

一些特殊字符,可能也会报字段数量长度不对之类的,但其实如果不对早就报了,大概率是默认 csv 导入,特殊字符导致的问题

可以调整一下写入方式,改为json,sink---doris 加个参数

复制代码
'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

INTERNAL_ERROR Cancelled END_OF_FILE Encountered unqualified data, stop processing, see more in null

这种也是运行一会报错,报错中没有链接,光说 see more in null 的

一般都是主键、分区键有问题

  • 主键字段中存在 null 值
  • 分区字段超过分区键的范围,比如分区从 2024 年开始,但数据中有 2020 年的数据
相关推荐
微风中的麦穗1 小时前
【SQL Server 2019】企业级数据库系统—数据库SQL Server 2019保姆级详细图文下载安装完全指南
大数据·数据库·sqlserver·云计算·个人开发·运维必备·sqlserver2019
qyresearch_2 小时前
圆形连接器外壳:全球市场格局、技术趋势与行业展望
大数据
沃码2 小时前
【Lively Wallpaper 】插件开发:LivelyProperties.json 全流程实战教程
c#·json·livelywallpaper·视频壁纸
海兰3 小时前
ES 9.3.0 模型上下文优化
大数据·elasticsearch·搜索引擎
躺柒3 小时前
读人工智能全球格局:未来趋势与中国位势06人类的未来(下)
大数据·人工智能·算法·ai·智能
码云数智-大飞4 小时前
小程序制作平台有哪些?SaaS小程序制作平台对比评测
大数据·人工智能
ctrigger4 小时前
家和万事兴
大数据·人工智能·生活
追风少年ii5 小时前
文献分享--口腔黏膜免疫受独特的空间结构调控
大数据·数据挖掘·数据分析·空间·单细胞
龙山云仓6 小时前
No156:AI中国故事-对话司马迁——史家绝唱与AI记忆:时间叙事与因果之链
大数据·开发语言·人工智能·python·机器学习
heimeiyingwang10 小时前
从 0 到 1:企业 AI 战略规划与落地路线图
大数据·人工智能