Flink 1.20 最新版本 Windows本地运行

Apache Flink 1.20 是 Flink 的一个较新版本,它带来了许多改进和新功能,如物化表、统一的检查点文件合并机制等。然而,关于 Flink 1.20 在 Windows 本地运行的具体步骤,虽然 Flink 本身是跨平台的,但官方文档和社区资源可能更多地关注于 Linux 环境下的部署和配置。不过,基于 Flink 的通用性和 Windows 环境的兼容性,以下是在 Windows 本地运行 Flink 1.20 的一般步骤:

1. 安装 JDK

Flink 运行需要 Java 环境,因此首先需要确保 Windows 系统上安装了 JDK 1.8 或更高版本。可以从 Oracle 官网或其他 JDK 提供商处下载并安装 JDK。

访问 Apache Flink 的官方网站(https://flink.apache.org/)或官方下载页面。

下载 Flink 1.20 的二进制包(binary package),通常是一个 .tgz 或 .zip 文件,具体取决于选择的下载源。

将下载的文件解压到选择的目录,例如 C:\flink。

3. 安装Cygwin

首先,需要在Windows上安装Cygwin。Cygwin是一个在Windows平台上模拟Unix环境的工具,它提供了大量的Unix命令行工具。可以从Cygwin的官方网站下载并安装它。

官网地址:https://cygwin.com/install.html

4. 配置环境变量(可选)

为了方便运行 Flink,可以将 Flink 的 bin 目录添加到系统的 PATH 环境变量中。这样,就可以在任何命令行窗口中直接运行 Flink 的脚本了。

打开Cygwin终端,并使用cd命令切换到Flink的bin目录,例如:

bash 复制代码
 /cygdrive/d/SF/java/flink/flink-1.20.0/bin
$ ./start-cluster.sh
Starting cluster.
[INFO] 1 instance(s) of standalonesession are already running on WFG-SFT.
Starting standalonesession daemon on host WFG-SFT.
Starting taskexecutor daemon on host WFG-SFT.

运行成功后访问地址: http://127.0.0.1:8081

注意事项:

  • Flink在Windows上的性能可能不如在Linux上,因为Windows的文件系统和网络堆栈可能与Flink的期望不完全一致。
  • Cygwin是一个模拟环境,它可能无法完全模拟Unix/Linux的所有行为,这可能会导致一些意外的问题。
  • 如果在Windows上遇到与Flink相关的问题,建议首先查阅Flink的官方文档和社区论坛,以获取可能的解决方案或工作区。

6. 问题

  1. 问题:运行失败后的错误信息?
    日志地址:flink-1.20.0/log/
java 复制代码
Improperly specified VM option 'MaxMetaspaceSize=268435456.
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

解决方案:

  1. 找到该文件 flink-1.20.0/bin/bash-java-utils.sh
  2. 使用文本编辑器打开该文件
  3. 找到 parseResourceParamsAndExportLogs()方法
  4. 注掉该方法中的: #export JVM_ARGS="{JVM_ARGS} {jvm_params}"
  5. 重新启动服务,即可进入flink集群。
相关推荐
RE-190116 小时前
《深入浅出统计学》学习笔记(一)
大数据·数学·概率论·统计学·数理统计·知识笔记·深入浅出
赵部长风向标19 小时前
在本地生活赛道,如何打造属于自己的业务护城河?
大数据
青云交20 小时前
Java 大视界 -- Java 大数据在智能教育学习社区互动模式创新与用户活跃度提升中的应用(426)
java·大数据·学习·flink 实时计算·智能教育社区·互动模式创新·用户活跃度
黑夜路人1 天前
Claude Code + 国产模型GLM-4.6 安装指南 (for Windows/Mac)
windows·macos
nono牛1 天前
Linux基础指令大全(快速上手)
linux·服务器·windows·智能手机
snowful world1 天前
flink实验三:实时数据流处理(踩坑记录)
大数据·flink
B站_计算机毕业设计之家1 天前
基于大数据的短视频数据分析系统 Spark哔哩哔哩视频数据分析可视化系统 Hadoop大数据技术 情感分析 舆情分析 爬虫 推荐系统 协同过滤推荐算法 ✅
大数据·hadoop·爬虫·spark·音视频·短视频·1024程序员节
面向星辰1 天前
day07 spark sql
大数据·sql·spark
北邮-吴怀玉1 天前
2.2.2.3 大数据方法论与实践指南-开源服务跟踪工具对比
大数据·开源
安当加密1 天前
如何通过掌纹识别实现Windows工作站安全登录:从技术原理到企业级落地实践
windows·安全·1024程序员节