Docker 部署 flink1.19.2

官方文档

Docker

注意事项

平台错误

plain 复制代码
WARNING: The requested image's platform (linux/arm64/v8) does not match the detected host platform (linux/amd64/v3) and no specific platform was requested

平台不一致,所以报错

内存分配器问题

plain 复制代码
By default, Flink image adopts jemalloc as default memory allocator. This behavior can be disabled by setting the 'DISABLE_JEMALLOC' environment variable to 'true'.

部署脚本

plain 复制代码
networks:
  flink-network:
services:
  jobmanager:
    image: flink:1.19.2-scala_2.12-java8
    ports:
      - "18081:8081"
    command: jobmanager
    networks:
      - flink-network
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
    #volumes:
     # - ./JobManager/conf/:/opt/flink/conf/

  taskmanager:
    image: flink:1.19.2-scala_2.12-java8
    depends_on:
      - jobmanager
    command: taskmanager
    scale: 1
    networks:
      - flink-network
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
        taskmanager.numberOfTaskSlots: 5
    #volumes:
    #  - ./TaskManager/conf/:/opt/flink/conf/

ps: 目录挂载存在文件格式报错,待解决。

示例项目

学习文档

Overview

Maven 命令

plain 复制代码
$ mvn archetype:generate                \
  -DarchetypeGroupId=org.apache.flink   \
  -DarchetypeArtifactId=flink-quickstart-java \
  -DarchetypeVersion=1.19.2

打包并添加任务

批处理执行完成

相关推荐
csdn_aspnet5 小时前
在 Docker 容器中本地运行 SQL Server
运维·docker·容器·sqlserver
Z21-X7 小时前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
你住过的屋檐9 小时前
【SeaweedFS】Linux上搭建SeaweedFS文件存储服务完整教程
linux·运维·服务器
Decay__9 小时前
PostgreSQL 体系架构全解 —— 进程模型、共享内存、MVCC 与 WAL 预写日志深入
运维·数据库·sql·mysql·架构
分布式存储与RustFS10 小时前
桶里的文件想当目录使:用 ZeroFS 把 RustFS 挂成一棵 POSIX 树
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
java资料站10 小时前
MongoDB 3节点副本集( Docker )
mongodb·docker·eureka
老余说AI10 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
分布式存储与RustFS11 小时前
向量表别堆本地盘:用 LanceDB 把数据集建在 RustFS 上
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
星落梦生14 小时前
Docker学习(11)
学习·docker·容器
万里侯17 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s