Flink 写入 Doris 常见报错和问题

字段数量、格式问题

task 一启动就会有明确的报错,直接调整即可

运行一会报错,报错中有个 doris 链接

可以通过链接访问拿到报错日志,里面有错误信息

长度之类的问题,自己调整字段长度,或者过滤

一些特殊字符,可能也会报字段数量长度不对之类的,但其实如果不对早就报了,大概率是默认 csv 导入,特殊字符导致的问题

可以调整一下写入方式,改为json,sink---doris 加个参数

复制代码
'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

INTERNAL_ERROR Cancelled END_OF_FILE Encountered unqualified data, stop processing, see more in null

这种也是运行一会报错,报错中没有链接,光说 see more in null 的

一般都是主键、分区键有问题

  • 主键字段中存在 null 值
  • 分区字段超过分区键的范围,比如分区从 2024 年开始,但数据中有 2020 年的数据
相关推荐
智能化咨询12 小时前
(112页PPT)数字化转型制造业企业数据治理平台规划方案(附下载方式)
大数据·运维·人工智能
智慧化智能化数字化方案12 小时前
集团财务管控——解读SAP 集团财务管控整体方案【附全文阅读】
大数据·集团财务管控整体方案·大型集团企业财务管理·财务共享与业财融合一体化·财务系统规划设计·财务管理体系·企业财务分析指标
资生算法程序员_畅想家_剑魔12 小时前
Java常见技术分享-29-Jackson JSON处理类详解
java·开发语言·json
Hello.Reader12 小时前
PyFlink 向量化 UDF(Vectorized UDF)Arrow 批传输原理、pandas 标量/聚合函数、配置与内存陷阱、五种写法一网打尽
python·flink·pandas
manok13 小时前
探索研究:军用领域软件工厂建设核心路径——可信仓库与SBOM驱动的安全高效研发模式
大数据·人工智能·安全·软件工厂
人机与认知实验室13 小时前
机器人“拟人化”的演进:融合人机环境生态系统智能的前沿探索
大数据·机器人
中科天工13 小时前
如何选择适合的自动化包装解决方案?
大数据·人工智能·智能
song1502653729814 小时前
PLC电气控制柜 开发上位机软件
大数据
老胡全房源系统14 小时前
房产中介管理系统哪一款适合中介?
大数据·人工智能
dear_bi_MyOnly14 小时前
数据分析常用操作汇总
大数据·python·数据挖掘·数据分析·学习方法