【Flink实战】Flink -C实现类路径配置与实现UDF Jar

文章目录

    • [1. 描述](#1. 描述)
    • [2. 使用语法](#2. 使用语法)
    • [3. `-C` 适用的 Flink 运行模式](#3. -C 适用的 Flink 运行模式)
    • [4. USING JAR 不可用](#4. USING JAR 不可用)

1. 描述

Flink 中的 -C 选项用于将 URL 添加到作业的类加载器中。URL可以指向本地、HTTP 服务器或 HDFS 等资源的Jar文件。

注意:

  1. 此处的classpath的url必须是一个能够在client,JM和TM都被访问到的位置。
  2. 此位置从client端的提交到JM的分发到TM的访问的过程中,不会发生文件移动的动作。
  3. url支持的协议包括file,ftp,gopher,http,https,jar,mailto,netdoc,亦即java中URL类支持的协议类型。
  4. 注意:不能放在hdfs上。否则会报错:Bad syntax for classpath: hdfs://xxx。

2. 使用语法

shell 复制代码
flink run \
  -C http://home/user/flink-udf1.jar \
  -C http://home/user/flink-udf2.jar \
  -j job.jar

配置多个udf: 每个 -C 选项只能对应一个 JAR ,不能用逗号 , 分隔多个路径。

如下示例,

从Taskmanager日志可以看到成功加载https格式的jar包

url路径的结尾可以不以.jar结尾

运行模式 是否支持 -C
Standalone(独立模式) ✅ 支持
YARN Session ✅ 支持
YARN Per-job ✅ 支持
Kubernetes ✅ 支持
Local(本地模式) ✅ 支持

4. USING JAR 不可用

使用Flink Sql加载udf

sql 复制代码
CREATE FUNCTION my_udf AS 'com.example.MyUDF' USING JAR 'hdfs://namenode:9000/flink-udf.jar';

报错:直接不可用。

log 复制代码
org.apache.flink.api.common.InvalidProgramException: Table program cannot be compiled. This is a bug. Please file an issue. at
相关推荐
笙囧同学18 分钟前
基于大数据技术的疾病预警系统:从数据预处理到机器学习的完整实践(后附下载链接)
大数据·网络·机器学习
java叶新东老师9 小时前
git 提交时排除一个或多个文件
大数据·git·elasticsearch
阿里云大数据AI技术9 小时前
Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统
大数据·人工智能·机器学习
秋难降11 小时前
一篇文章带你了解Pandassssssssssssssss
大数据·python·pandas
数据皮皮侠12 小时前
中国汽车能源消耗量(2010-2024年)
大数据·数据库·人工智能·物联网·金融·汽车·能源
TDengine (老段)12 小时前
TDengine 转化函数 TO_TIMESTAMP 用户手册
java·大数据·数据库·物联网·时序数据库·tdengine·涛思数据
LiRuiJie12 小时前
基于Hadoop3.3.4+Flink1.17.0+FlinkCDC3.0.0+Iceberg1.5.0整合,实现数仓实时同步mysql数据
大数据·hadoop·flink·iceberg·flinkcdc
时序数据说13 小时前
时序数据库IoTDB的优势场景分析
大数据·数据库·物联网·时序数据库·iotdb
Leo.yuan13 小时前
数据处理工具是做什么的?常见数据处理方法介绍
大数据·数据库·人工智能·python·信息可视化
阿里云大数据AI技术14 小时前
[VLDB 2025]面向云计算平台的多模态慢查询根因排序
大数据·数据库·人工智能