flink1.18源码本地调试环境

01 源码本地调试环境搭建

1. 从github拉取源码创建本地项⽬

https://github.com/apache/flink.git

可以拉取github上官⽅代码

https://github.com/apache/flink.git
GitHub - apache/flink: Apache Flink

2. 配置编译环境

ctrl+alt+shift+s (或菜单)打开项⽬结构,确保jdk版本为1.8,scala版本最好为2.12.73. 源码编译

跳过调试

4、准备运⾏环境

• 在项⽬根⽬录下,创建如下两个⽂件夹: 找到如下⼦模块,并展开如图
• 将上图中conf下的⽂件,拷⻉到项⽬根⽬录下创建的conf下
• 将上图中的lib下的jar包,拷⻉到项⽬根⽬录下创建的distlib下

5、编译中遇到的问题

编译 Flink Shaded

  • 进入 Flink 源码目录,并切换到相应的 Shaded 版本分支,例如 flink-shaded-193。

  • 执行 Maven 命令来编译 Flink Shaded 19 版本:

    复制代码

    mvn clean package -DskipTests
    这将编译 Flink Shaded 19 并生成相应的构建产物

运行 Checkstyle 检查

  • 在修正了代码风格问题后,你可以单独运行 Checkstyle 插件来检查问题是否已经解决。使用以下 Maven 命令:

    复制代码

    mvn checkstyle:check

  • 如果之前没有配置 Checkstyle,或者你想使用不同的配置文件,可以通过 -DconfigLocation 参数指定 Checkstyle 配置文件:

    复制代码

    mvn checkstyle:check -DconfigLocation=checkstyle.xml

整合到构建流程

一旦所有的 Checkstyle 违规问题都被解决,并且本地构建成功,你可以再次尝试完整的 Maven 构建流程:

复制代码

复制

mvn clean package -DskipTests

先去https://mvnrepository.com去搜索下载

发现https://maven.ceon.pl/artifactory/repo/io/confluent/kafka-schema-registry-client/7.2.2/ 大 小有问题。爆了以下错误

ERROR\] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.8.0:compile (default-compile) on project flink-avro-confluent-registry: Compilation failure: Compilation failure: \[ERROR\] error reading /Users/AllenBai/.m2/repository/io/confluent/kafka-schema-registry-client/3.3.1/kafka-schema-registry-client-7.2.2.jar; error in opening zip file \[ERROR\] error reading /Users/AllenBai/.m2/repository/io/confluent/kafka-schema-registry-client/7.2.2/kafka-schema-registry-client-7.2.2.jar; error in opening zip file wget http://packages.confluent.io/maven/io/confluent/kafka-schema-registry-client/7.2.2/kafka-schema-registry-client-7.2.2.jar 安装 mvn install:install-file -DgroupId='io.confluent' -DartifactId='kafka-schema-registry-client' -Dversion='7.2.2' -Dpackaging='jar' -Dfile='D:/Tools/jar/kafka-schema-registry-client-7.2.2.jar' '-DskipTests' '-Dmaven.javadoc.skip=true' '-Dmaven.compile.fork=true' 编译成功

相关推荐
luoganttcc40 分钟前
加快高水平科技自立自强,引领发展新质生产力 <十五五 规划节选>
大数据·人工智能·科技
TDengine (老段)1 小时前
益和热力性能优化实践:从 SQL Server 到 TDengine 时序数据库,写入快 20 秒、查询提速 5 倍
大数据·数据库·物联网·性能优化·时序数据库·tdengine·1024程序员节
秋已杰爱2 小时前
技术准备十五:Elasticsearch
大数据·elasticsearch·搜索引擎
青云交2 小时前
Java 大视界 -- Java 大数据在智能家居能源消耗模式分析与节能策略制定中的应用
java·大数据·智能家居·数据采集·能源消耗模式分析·节能策略制定·节能效果评估
B站计算机毕业设计之家3 小时前
python图像识别系统 AI多功能图像识别检测系统(11种识别功能)银行卡、植物、动物、通用票据、营业执照、身份证、车牌号、驾驶证、行驶证、车型、Logo✅
大数据·开发语言·人工智能·python·图像识别·1024程序员节·识别
数字化脑洞实验室7 小时前
如何理解不同行业AI决策系统的功能差异?
大数据·人工智能·算法
starandsea11 小时前
gitlab解决传过大文件后删除导致pack过大问题
大数据·elasticsearch·gitlab
拉姆哥的小屋13 小时前
时间序列早期分类中的置信度累积问题:从ECE-C到时序依赖建模
大数据·人工智能
蚁巡信息巡查系统13 小时前
政府网站与政务新媒体监测服务主要是做什么的?
大数据·人工智能
饼干吖13 小时前
hadoop安装
大数据·hadoop·教程