[实时计算flink]DataStream连接器设置方法

背景信息

如果您通过DataStream的方式读写数据,则需要使用对应的DataStream连接器连接Flink全托管。Maven中央库中已经放置了VVR DataStream连接器,以供您在作业开发时直接使用。您可以通过以下任何一种方式来使用连接器:

(推荐)上传连接器JAR包到实时计算控制台后,填写配置信息

  1. 登录实时计算控制台

  2. 单击目标工作空间操作 列下的控制台

  3. 在左侧导航栏,单击文件管理

  4. 单击上传资源,选择您要上传的目标链接器的JAR包。

    您可以上传您自己开发的连接器,也可以上传Flink全托管产品提供的连接器。Flink全托管产品提供的连接器官方JAR包的下载地址,请参见Connector列表

  5. 在目标作业开发页面附加依赖文件项,选择目标连接器的JAR包。

直接将连接器作为项目依赖打进作业JAR包

步骤一:准备DataStream作业开发环境

  1. 在Maven项目的pom.xml文件中添加以下配置以引用SNAPSHOT仓库。

    复制代码
    <repositories>
      <repository>
        <id>oss.sonatype.org-snapshot</id>
        <name>OSS Sonatype Snapshot Repository</name>
        <url>http://oss.sonatype.org/content/repositories/snapshots</url>
        <releases>
          <enabled>false</enabled>
        </releases>
        <snapshots>
          <enabled>true</enabled>
        </snapshots>
      </repository>
      <repository>
        <id>apache.snapshots</id>
        <name>Apache Development Snapshot Repository</name>
        <url>https://repository.apache.org/content/repositories/snapshots/</url>
        <releases>
          <enabled>false</enabled>
        </releases>
        <snapshots>
          <enabled>true</enabled>
        </snapshots>
      </repository>
    </repositories>
  2. 检查您的settings.xml配置文件中是否存在<mirrorOf>*</mirrorOf>配置。

    <mirrorOf>中包含*,表示当前mirror已经包含了所有仓库,maven不会从上述指定的两个 SNAPSHOT仓库中下载,这会导致Maven工程无法下载这两个仓库中的SNAPSHOT依赖。因此如果 settings.xml文件<mirrorOf>*</mirrorOf>配置中包含*,您可以根据如下情况进行相应的修改:

    • 存在<mirrorOf>*</mirrorOf>配置,请将配置改为<mirrorOf>*,!oss.sonatype.org-snapshot,!apache.snapshots</mirrorOf>

    • 存在<mirrorOf>external:*</mirrorOf>配置,请将配置改为<mirrorOf>external:*,!oss.sonatype.org-snapshot,!apache.snapshots</mirrorOf>

    • 存在<mirrorOf>external:http:*</mirrorOf>配置,请将配置改为<mirrorOf>external:http:*,!oss.sonatype.org-snapshot,!apache.snapshots</mirrorOf>

  3. 在作业的Maven POM文件中添加您需要的连接器作为项目依赖。

    每个Connector版本对应的Connector类型可能不同,建议您使用最新版本。完整的依赖信息请参见MaxCompute-DemoDataHub-DemoKafka-DemoRocketMQ-Demo示例中的pom.xml文件。MaxCompute增量源表的项目依赖代码示例如下。

    复制代码
    <dependency>
        <groupId>com.alibaba.ververica</groupId>
        <artifactId>ververica-connector-continuous-odps</artifactId>
        <version>${connector.version}</version>
    </dependency>

    除connector外,项目还需要依赖connector的公共包flink-connector-base

    复制代码
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-base</artifactId>
        <version>${flink.version}</version>
    </dependency>

    其中,${flink.version}是作业运行环境对应的Flink版本,如您的作业运行在1.15-vvr-6.0.7版本引擎上,其对应的Flink版本为1.15.0

    重要

    • 您需要在SNAPSHOT仓库(oss.sonatype.org )查找带SNAPSHOT的Connector版本,在Maven中央库(search.maven.org)上会查找不到。

    • 在使用多个Connector时,请注意META-INF目录需要Merge,即在pom.xml文件中添加如下代码。

      复制代码
      <transformers>
          <!-- The service transformer is needed to merge META-INF/services files -->
          <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
          <transformer implementation="org.apache.maven.plugins.shade.resource.ApacheNoticeResourceTransformer">
              <projectName>Apache Flink</projectName>
              <encoding>UTF-8</encoding>
          </transformer>
      </transformers>

步骤二:开发DataStream作业

DataStream连接配置信息和代码示例需要去查看对应的DataStream连接器文档,详情请参见:

步骤三:打包并提交DataStream作业

使用Maven工具打包工程项目,并将生成的JAR包上传和提交到Flink全托管平台上,详细请参见部署JAR作业

相关推荐
烛阴4 小时前
简单入门Python装饰器
前端·python
好开心啊没烦恼5 小时前
Python 数据分析:numpy,说人话,说说数组维度。听故事学知识点怎么这么容易?
开发语言·人工智能·python·数据挖掘·数据分析·numpy
面朝大海,春不暖,花不开5 小时前
使用 Python 实现 ETL 流程:从文本文件提取到数据处理的全面指南
python·etl·原型模式
2301_805054566 小时前
Python训练营打卡Day59(2025.7.3)
开发语言·python
万千思绪6 小时前
【PyCharm 2025.1.2配置debug】
ide·python·pycharm
微风粼粼8 小时前
程序员在线接单
java·jvm·后端·python·eclipse·tomcat·dubbo
云天徽上8 小时前
【PaddleOCR】OCR表格识别数据集介绍,包含PubTabNet、好未来表格识别、WTW中文场景表格等数据,持续更新中......
python·ocr·文字识别·表格识别·paddleocr·pp-ocrv5
你怎么知道我是队长9 小时前
python-input内置函数
开发语言·python
叹一曲当时只道是寻常9 小时前
Python实现优雅的目录结构打印工具
python
hbwhmama10 小时前
python高级变量XIII
python