StreamPark2.1.7 添加Flink Home 报错 base64 character 2d 解决方法

StreamPark 添加Flink Home 报如下错误:

原因是这个版本本身的bug,没有将flink conf base64 编码,而是直接存到数据库。

1.登录streampark 的数据库 查询 表 t_flink_env 如图,存储的是原始配置路径:

2.登录gitee 找到streampark 的源码类 DeflaterUtils

有两个编解码方法:

java 复制代码
import org.apache.commons.lang3.StringUtils

import java.io.ByteArrayOutputStream
import java.util.Base64
import java.util.zip.{DataFormatException, Deflater, Inflater}
  
def zipString(text: String): String = {
    if (StringUtils.isBlank(text)) return ""
    // compression level (0 ~ 9): low to high
    // create a new deflater with the specified compression level
    val deflater = new Deflater(Deflater.BEST_COMPRESSION)
    // set the compressed input data
    deflater.setInput(text.getBytes)
    deflater.finish()
    val bytes = new Array[Byte](256)
    val outputStream = new ByteArrayOutputStream(256)
    while (!deflater.finished) {
      val length = deflater.deflate(bytes)
      outputStream.write(bytes, 0, length)
    }
    deflater.`end`()
    Base64.getEncoder.encodeToString(outputStream.toByteArray)
  }

  def unzipString(zipString: String): String = {
    val decode = Base64.getDecoder.decode(zipString)
    val inflater = new Inflater
    inflater.setInput(decode)
    val bytes = new Array[Byte](256)
    val outputStream = new ByteArrayOutputStream(256)
    try {
      while (!inflater.finished) { // decompress bytes array to the buffer
        val length = inflater.inflate(bytes)
        outputStream.write(bytes, 0, length)
      }
    } catch {
      case e: DataFormatException =>
        e.printStackTrace()
        return null
    } finally {
      inflater.`end`()
    }
    outputStream.toString
  }

3.将streampark 低版本正常的配置拿过来解码一下,发现是将flink-conf.yaml原文直接编码的,而不是存储路径

  1. 将flink1.20.3 的fink conf 原文使用 zipString base64编码存储到数据库表的t_flink_env.flink_conf 替换原本的路径

5.刷新streamPark 页面,点击配置的flink1.20.3 可以看到ok了

相关推荐
躺柒1 小时前
读数据架构知识体系指南14数据编织
大数据·数据仓库·数据分析·数据湖·数据编织
计算机毕业编程指导师2 小时前
大数据毕设怎么做?基于Hadoop的多源社交媒体心理健康情感分析与可视化系统从零到一指导 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 深度学习
大数据·hadoop·计算机·数据分析·毕业设计·课程设计·媒体
计算机毕业设计杰瑞2 小时前
【最新原创大数据】基于大数据的酒店数据分析与可视化,附源码_高质量项目_可视化_数据分析_毕设选题推荐_SPark_Hadoop_毕设指导
大数据·信息可视化·数据挖掘·课程设计
计算机毕业编程指导师3 小时前
Python大数据毕设:基于Hadoop的病毒式社交媒体趋势和参与度分析系统怎么做 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·毕业设计·课程设计·社交媒体
计算机毕业编程指导师3 小时前
【计算机毕设选题推荐】基于Spark与Hadoop的AI就业收入区域差异分析系统 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 深度学习
大数据·python·数据分析·spark·毕业设计·课程设计·ai就业收入
小猴子爱上树3 小时前
跨马翻译:批量图片翻译与视频字幕、智能抠图一站式在线图片翻译工具
大数据·人工智能·python·音视频
W***25923 小时前
2026 企业 AI 办公工具选型指南:能力评估与平台全景分析
大数据·人工智能
2601_967212724 小时前
电源轨道系统核心技术路线对比与选型要点
大数据·经验分享
龙亘川5 小时前
数智赋能物业不动产治理:亘川智城智慧物业系统实践解析
大数据·人工智能·智慧城市·开源软件·数据可视化
大大大大晴天️5 小时前
元数据目录到数据资产运营:让好数据被看见、被复用、被持续经营
大数据·数据治理