Flink 写入 Doris 常见报错和问题

字段数量、格式问题

task 一启动就会有明确的报错,直接调整即可

运行一会报错,报错中有个 doris 链接

可以通过链接访问拿到报错日志,里面有错误信息

长度之类的问题,自己调整字段长度,或者过滤

一些特殊字符,可能也会报字段数量长度不对之类的,但其实如果不对早就报了,大概率是默认 csv 导入,特殊字符导致的问题

可以调整一下写入方式,改为json,sink---doris 加个参数

复制代码
'sink.properties.format' = 'json',
'sink.properties.read_json_by_line' = 'true'

INTERNAL_ERROR Cancelled END_OF_FILE Encountered unqualified data, stop processing, see more in null

这种也是运行一会报错,报错中没有链接,光说 see more in null 的

一般都是主键、分区键有问题

  • 主键字段中存在 null 值
  • 分区字段超过分区键的范围,比如分区从 2024 年开始,但数据中有 2020 年的数据
相关推荐
吴声子夜歌2 小时前
Node.js——JSON-Server轻量级RESTful API
node.js·json·restful·json-server
lizhihai_993 小时前
股市学习心得—半导体12种核心材料
大数据·人工智能·学习
ZGi.ai4 小时前
智能客服系统设计:从工单分类到自动派单的工程实现
大数据·人工智能·分类
PaperData4 小时前
2000-2023年地级市数字基础设施评价指标体系
大数据·网络·数据库·人工智能·数据分析·经管
Blockchain Learning4 小时前
去中心化身份(DID)模型解析:区块链如何重塑身份管理?
大数据·去中心化·区块链
xcbrand5 小时前
政府事业机构品牌策划公司哪家可靠
大数据·人工智能·python
程序鉴定师5 小时前
如何选择合适的深圳小程序开发公司?
大数据·小程序
呆萌的代Ma5 小时前
解决n8n的输入内容报错JSON parameter needs to be valid JSON
json·n8n
晨启AI6 小时前
GPT-5.5 来了!OpenAI 最新提示词指南深度解读
大数据·人工智能·ai·提示词
地球资源数据云6 小时前
中国陆地生态系统主要植物功能特征空间分布数据
大数据·数据库·人工智能·机器学习