聊聊Flink:Docker搭建Flink

一、准备工作

查看下Docker和Docker Compose版本,确保你安装了这些软件。

在 Flink 官网上下载 Flink 的 Docker 镜像。您可以使用以下命令从 Docker Hub 中下载:

docker pull flink:1.18.0-scala_2.12

此命令将下载 Flink 1.18.0 版本的 Docker 镜像,并且使用 Scala 2.12 进行编译。

二、编写Docker Compose文件

Docker Compose可以通过一个YAML文件来定义和管理多个容器的服务。我们将使用Docker Compose来定义Flink集群的容器服务。

创建一个 docker-compose.yml 文件,该文件描述了您要启动的容器及其配置。下面是一个基本的示例文件:

bash 复制代码
version: '3'

services:
  jobmanager:
    image: flink:1.18.0-scala_2.12
    command: jobmanager
    ports:
      - "8081:8081"
    volumes:
      - ./settings/:/settings
      - ./data/:/data
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
    restart: always
  taskmanager:
    image: flink:1.18.0-scala_2.12
    command: taskmanager
    depends_on:
      - jobmanager
    scale: 1
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
        taskmanager.numberOfTaskSlots: 20
    volumes:
      - ./settings/:/settings
      - ./data/:/data
    restart: always

上述代码定义了两个服务:jobmanager和taskmanager。jobmanager用于管理Flink作业,taskmanager用于执行Flink作业的任务。

三、构建和启动容器

在终端中,切换到包含docker-compose.yml文件的目录,然后执行以下命令构建和启动容器:

docker-compose up -d

以上命令将会以后台模式启动Flink容器集群

一旦容器启动完成,可以通过浏览器访问Flink Web界面。在浏览器中输入http://localhost:8081,即可访问Flink的Web界面。在该界面中,可以查看作业列表、监控任务状态等信息。

五、提交Flink作业

现在,可以通过Flink Web界面提交和管理Flink作业。首先,将一个Flink作业的JAR文件上传到Flink Web界面。然后,通过界面上的操作,选择相应的作业并点击Submit按钮来提交作业。

另外,也可以通过命令行方式提交Flink作业。在终端中,执行以下命令来提交Flink作业:

复制代码
docker exec -it <jobmanager_container_id> flink run -m taskmanager:8081 /path/to/job.jar

其中,<jobmanager_container_id>是Flink集群中jobmanager容器的ID,/path/to/job.jar是Flink作业的JAR文件路径。

注意:上面的提交是旧的方式,笔者这里用的Flink 1.18版本,上面的命令行已经舍弃了。
//先把你本地的jar包文件

docker cp /你的文件目录/flink-release-1.18.0/flink-reimann-test/target/flink-reimann-test-1.18.0.jar <jobmanager_container_id>:/opt/flink/test

docker exec -it <jobmanager_container_id> /bin/bash

bin/flink run -c org.apache.flink.PartitionerTest test/flink-reimann-test-1.18.0.jar

Web界面会展示刚才跑的任务

还有一种界面上提交任务的方式,我这里就不说了,留给你自己去探索。

六、关闭容器

当不再需要使用Flink集群时,可以通过以下命令关闭并删除容器:

复制代码
docker-compose down
相关推荐
ladymorgana5 分钟前
【Docker】如何设置 `wiredTigerCacheSizeGB` 和 `resources.limits.memory`
运维·docker·容器
mcdx11 分钟前
基于Docker构建OrangePi5 SDK环境
docker·容器
小高不会迪斯科21 分钟前
MIT 6.824学习心得(1) 浅谈分布式系统概论与MapReduce
大数据·mapreduce
TDengine (老段)30 分钟前
使用 StatsD 向 TDengine 写入
java·大数据·数据库·时序数据库·iot·tdengine·涛思数据
Gauss松鼠会42 分钟前
GaussDB权限管理:从RBAC到精细化控制的企业级安全实践
大数据·数据库·安全·database·gaussdb
时序数据说1 小时前
时序数据库IoTDB用户自定义函数(UDF)使用指南
大数据·数据库·物联网·开源·时序数据库·iotdb
大师兄带你刨AI2 小时前
「AI产业」| 《中国信通院&华为:智能体技术和应用研究报告》
大数据·人工智能
杨浦老苏2 小时前
Docker端口映射查看工具Dockpeek
网络·docker·群晖
武子康2 小时前
大数据-31 ZooKeeper 内部原理 Leader选举 ZAB协议
大数据·后端·zookeeper
zkmall2 小时前
ZKmall模块商城批发电商平台搭建方案,多商户支持 + 订单管理功能全覆盖
大数据·人工智能