Flink 写入 Doris 常见报错和问题

字段数量、格式问题

task 一启动就会有明确的报错,直接调整即可

运行一会报错,报错中有个 doris 链接

可以通过链接访问拿到报错日志,里面有错误信息

长度之类的问题,自己调整字段长度,或者过滤

一些特殊字符,可能也会报字段数量长度不对之类的,但其实如果不对早就报了,大概率是默认 csv 导入,特殊字符导致的问题

可以调整一下写入方式,改为json,sink---doris 加个参数

复制代码
'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

INTERNAL_ERROR Cancelled END_OF_FILE Encountered unqualified data, stop processing, see more in null

这种也是运行一会报错,报错中没有链接,光说 see more in null 的

一般都是主键、分区键有问题

  • 主键字段中存在 null 值
  • 分区字段超过分区键的范围,比如分区从 2024 年开始,但数据中有 2020 年的数据
相关推荐
D愿你归来仍是少年2 小时前
Apache Spark 从入门到精通:完整学习指南
大数据·spark
搭贝2 小时前
河南爱彼爱和新材料 | 打造低成本高敏捷数字化转型的“河南标杆“
大数据·低代码·制造业
m0_584624502 小时前
调用接口返回的json数据被截断
java·json
b***25112 小时前
定制化组装锂电池设备:精准匹配需求的技术实践
大数据
JZC_xiaozhong2 小时前
企业级权限治理难题:如何实现跨平台角色自动同步与精细化管控?
大数据·企业数据安全·数据集成与应用集成·权限治理·多系统权限管理·异构系统集成·权限自动化
hughnz3 小时前
走进贝克休斯油田技术服务世界
大数据·人工智能·能源·钻井
GlobalInfo3 小时前
汽车电感式位置传感器行业单项冠军申请趋势分析报告
大数据·人工智能·汽车
zandy10113 小时前
企业合同管理系统选型全指南:专业 CLM 系统选型核心逻辑与实操框架
大数据·人工智能
数据小玩子3 小时前
精准归因:如何量化分析光伏电站的每一分发电损失?
大数据·人工智能·数据可视化·助睿数智·光伏电站运营
TDengine (老段)3 小时前
TDengine IDMP 组态面板 —— 连线
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据