Docker 部署 flink1.19.2

官方文档

Docker

注意事项

平台错误

plain 复制代码
WARNING: The requested image's platform (linux/arm64/v8) does not match the detected host platform (linux/amd64/v3) and no specific platform was requested

平台不一致,所以报错

内存分配器问题

plain 复制代码
By default, Flink image adopts jemalloc as default memory allocator. This behavior can be disabled by setting the 'DISABLE_JEMALLOC' environment variable to 'true'.

部署脚本

plain 复制代码
networks:
  flink-network:
services:
  jobmanager:
    image: flink:1.19.2-scala_2.12-java8
    ports:
      - "18081:8081"
    command: jobmanager
    networks:
      - flink-network
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
    #volumes:
     # - ./JobManager/conf/:/opt/flink/conf/

  taskmanager:
    image: flink:1.19.2-scala_2.12-java8
    depends_on:
      - jobmanager
    command: taskmanager
    scale: 1
    networks:
      - flink-network
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
        taskmanager.numberOfTaskSlots: 5
    #volumes:
    #  - ./TaskManager/conf/:/opt/flink/conf/

ps: 目录挂载存在文件格式报错,待解决。

示例项目

学习文档

Overview

Maven 命令

plain 复制代码
$ mvn archetype:generate                \
  -DarchetypeGroupId=org.apache.flink   \
  -DarchetypeArtifactId=flink-quickstart-java \
  -DarchetypeVersion=1.19.2

打包并添加任务

批处理执行完成

相关推荐
网硕互联的小客服2 小时前
如何安全配置数据库(MySQL/PostgreSQL/MongoDB)
linux·运维·服务器·网络·windows
TDengine (老段)3 小时前
TDengine 中集群维护
大数据·运维·数据库·时序数据库·tdengine·涛思数据·物联
开挖掘机上班4 小时前
linux自有服务
linux·运维·服务器
wanhengidc4 小时前
算力服务器和GPU服务器之间的联系
运维·服务器
大海里的番茄5 小时前
Wave Terminal + Cpolar:SSH远程访问的跨平台实战+内网穿透配置全解析
运维·ssh
Elastic 中国社区官方博客5 小时前
Elasticsearch Synthetic _source
大数据·运维·elasticsearch·搜索引擎·全文检索·可用性测试
项目題供诗5 小时前
黑马k8s(十四)
云原生·容器·kubernetes
AWS官方合作商7 小时前
AWS EC2实例安全远程访问最佳实践
运维·安全·云计算·aws
傅里叶的耶8 小时前
Docker系列(四):容器操作全栈技术指南 --- 从入门到生产级管控
linux·ubuntu·docker·容器·dockerfile
杰哥技术分享8 小时前
Docker-mongodb
mongodb·docker·容器