docker安装flink

5.1、拉取flink镜像,创建网络

markdown 复制代码
docker pull flink
docker network create flink-network

5.2、创建 jobmanager

复制代码
# 创建 JobManager 
docker run \
 -itd \
 --name=jobmanager \
 --publish 8081:8081 \
 --network flink-network \
 --env FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" \
 flink:latest jobmanager 

5.3、创建 TaskManager

复制代码
# 创建 TaskManager 
 docker run \
  -itd \
  --name=taskmanager \
  --network flink-network \
  --env FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" \
  flink:latest taskmanager 

5.4、访问公网ip

http://localhost:8081/

访问 http://150.158.119.225/:8081/

5.5 修改Task Slots

默认的Slots num是1,我们可以修改为5:

修改的目录是jobmanager和taskmanager的/opt/flink/confflink-conf.yaml文件:

修改taskmanager.numberOfTaskSlots:即可。

注意:默认的docker容器中没有vi/vim命令,可以使用docker cp命令,复制出来修改,然后在复制回去,如下:

markdown 复制代码
docker cp taskmanager:/opt/flink/conf/flink-conf.yaml .
docker cp flink-conf.yaml taskmanager:/opt/flink/conf/

5.6、通过flinksql消费Kafka

Docker安装kafka 3.5

并且通过python,简单写一个生产者
Python生产、消费Kafka

顾名思义,用于连接flinksql和kafka。

进入flink

bash 复制代码
docker exec -it jobmanager /bin/bash

进入 flink的bin目录

bash 复制代码
cd /opt/flink/bin

查看flink版本:

bash 复制代码
flink --version

根据自己的flink版本,下载对应的 flink-sql-connector-kafka jar包

https://mvnrepository.com/artifact/org.apache.flink/flink-sql-connector-kafka

因为我是1.18.0,所以选择下图的版本包:

将下载的jar包,分别在jobmanager,taskmanager /opt/flink/lib目录下,注意,是两个都要放,如下图:

可以使用docker cp test.txt jobmanager:/opt/flink/lib命令,用户宿主机和docker容器文件传输。把test.txt换成对应的jar包即可

markdown 复制代码
docker cp test.txt jobmanager:/opt/flink/lib
docker cp test.txt taskmanager:/opt/flink/lib

5.8 flinksql消费kafka

java结合日志

复制代码
kafka.send("GatewayLog", JSONUtil.toJsonStr(gatewayLog));

GatewayLog是topic

yaml的服务配置

markdown 复制代码
spring:
  kafka:
    bootstrap-servers: "10.10.10.155:9092"
    consumer:
      group-id: "teleGatewayGroup"

我在本地生成了一条log,将使用flinksql处理这个数据。

进入jobmanager中,执行

bash 复制代码
cd /opt/flink/bin
sql-client.sh

Flink SQL执行以下语句:

复制代码
CREATE TABLE GatewayLog (
    platform VARCHAR,
    serviceId VARCHAR,
    targetServer VARCHAR,
    requestPath VARCHAR,
    requestMethod VARCHAR,
    schema VARCHAR,
    requestContentType VARCHAR,
    headers VARCHAR,
    requestBody VARCHAR,
    ip VARCHAR,
    startTime TIMESTAMP,
    endTime VARCHAR,
    executeTime VARCHAR,
    status VARCHAR,
    nickName VARCHAR,
    account VARCHAR,
    accountType VARCHAR,
    serviceName VARCHAR,
    orgCode VARCHAR
) WITH (
  'connector' = 'kafka',
  'topic' = 'GatewayLog',
  'properties.bootstrap.servers' = '150.158.119.225:9092',
  'properties.group.id' = 'flinKGroup',
  'scan.startup.mode' = 'earliest-offset',
  'format' = 'json'
);

select * from GatewayLog;

可以看到Flink在消费kafka数据,如下图:

中间缺少很多包。

flink-connector-kafka

复制代码
https://mvnrepository.com/artifact/org.apache.flink/flink-connector-kafka/3.1.0-1.18

依赖的kafka-clients

复制代码
https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients/3.6.1

然后在Linux需要看权限问题。

markdown 复制代码
chmod -R 777 /lib 

把文件夹都改成777 所有人。

然后执行

sql最好先改成varchar,变成成功。

最后select * from table

执行成功。

相关推荐
muyun280029 分钟前
Docker 下部署 Elasticsearch 8 并集成 Kibana 和 IK 分词器
elasticsearch·docker·容器
程序消消乐1 小时前
Kafka 入门指南:从 0 到 1 构建你的 Kafka 知识基础入门体系
分布式·kafka
智能化咨询1 小时前
Kafka架构:构建高吞吐量分布式消息系统的艺术——进阶优化与行业实践
分布式·架构·kafka
Chasing__Dreams1 小时前
kafka--基础知识点--5.2--最多一次、至少一次、精确一次
分布式·kafka
傻傻虎虎6 小时前
【Docker】常用帮忙、镜像、容器、其他命令合集(2)
运维·docker·容器
2401_8979300613 小时前
使用Docker轻松部署Neo4j图数据库
数据库·docker·neo4j
LeeZhao@15 小时前
【AI推理部署】Docker篇04—Docker自动构建镜像
人工智能·docker·容器
程思扬15 小时前
利用JSONCrack与cpolar提升数据可视化及跨团队协作效率
网络·人工智能·经验分享·docker·信息可视化·容器·架构
落日漫游16 小时前
dockercompose和k8s区别
docker·kubernetes