85 总结一下最近遇到的一些 jar发布 相关的知识

教练、我想打篮球2024-01-27 15:59

前言

呵呵 最近有一些构建服务, 发布服务的一些需求

我们这里的服务 一般来说是 java application, spring boot application

针对发布, 当然最好是 增量发布, 尽量的减少需要传递给 发布服务器 的资源的大小

比如 我的这个 java application, 可能会存在很多依赖, 常规有很多种做法

  1. 吧 application 和其依赖绑定打成一个 fat jar, 然后传到发布服务器上面, java -jar $jar

  2. 通过 classpath 来关联依赖的 jar, java -classpath $classpath -jar $appJar 或者 java -classpath classpath:appJar $mainClazz

假设依赖很多的话, 方式 显然会传递很多 大概率不会变化的依赖的数据, 造成一些 不必要的麻烦, 时间开销 等等

我们这里会 介绍一些场景来尽可能的减少发布所需要的一些数据, 将一些稳定的数据 一直保存在发布服务器上面就好

但是依然会存在一些问题, 希望您看完之后 有所收获

  1. 如何更加 轻量级 的发布 java application

  2. 比如 $classpath 太长的情况下, 怎么处理, 命令行支持的命令的长度是有限的, 应该怎么处理 ?

  3. spring boot 的包包括了依赖, 应该怎么 更加轻量级的发布 ?

java application 启动的一些方式

抽象的来说又如下几种启动方式

  1. java -classpath $classpath $mainClazz

  2. java -classpath $classpath -jar $jar

但是我们这里要讨论如下几种情况, 当然 都可以抽象为上面两种方式, 但是 在一些特殊的场景有一些特殊的使用, 因此我们单独拎出来

复制代码 
1. java -classpath $classpath $mainClazz
2. java -jar $jar
3. java  -classpath $classpath -jar $jar
4. java CommandlineRunner $classpathFile $mainClazz
5. java -jar $shortenJar $mainClazz
6. java -jar $springbootJar

1. java -classpath $classpath $mainClazz

这个就是我们最常见的了, 通过 -classpath 选项指定 classpath, 然后 $mainClazz 是启动类, 寻找 classpath 中的 $mainClazz, 然后调用 $mainClazz 的 main 方法

不多赘述

2. java -jar $jar

这个就是 直接通过 jar 来启动, 清单文件中包含了需要的 $classpath 和 $mainClazz

寻找 classpath 中的 $mainClazz, 然后调用 $mainClazz 的 main 方法

不多赘述

3. java -classpath $classpath -jar $jar

在 2 的基础上增加了 指定 -classpath

不多赘述

4. java CommandlineRunner $classpathFile $mainClazz

这个就是 idea 提供的缩短 classpath 的方案之一

通过 CommandlineRunner 代理一次, 从外部读取 classpath, 放入 classloader, 然后再 查找 $mainClazz, 调用 main 方法

具体的实现, 请参见 idea 的 CommandlineRunner

然后启动的方式大致如下, 抽象的来说可以归类为 java -classpath $classpath $mainClazz

/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home/bin/java -Dfile.encoding=UTF-8 com.intellij.rt.execution.CommandLineWrapper /private/var/folders/pw/lb8dvl7d6474r5plrnwtcp180000gn/T/idea_classpath880125671 com.hx.test12.Test02WechatJson

然后 $claspathFile 中的内容大致如下

/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home/lib/jconsole.jar
/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home/lib/packager.jar
/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home/lib/sa-jdi.jar
/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home/lib/tools.jar
/Users/jerry/IdeaProjects/HelloWorld/target/classes
/Applications/IntelliJ IDEA.app/Contents/lib/idea_rt.jar
/Users/jerry/.m2/repository/com/hx/HXLog/0.0.2/HXLog-0.0.2.jar
/Users/jerry/.m2/repository/com/hx/HXCommon/0.0.2/HXCommon-0.0.2.jar
/Users/jerry/.m2/repository/com/hx/HXJson/0.0.2/HXJson-0.0.2.jar

5. java -jar $shortenJar $mainClazz

这个就是 idea 提供的缩短 classpath 的方案之一

idea 生成一个 $classpathJar 里面通过 清单文件 指定了所有的 classpath, 然后搜索 $mainClazz, 调用 main 方法

然后启动的方式大致如下, 抽象的来说可以归类为 java -classpath $classpath $mainClazz

/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home/bin/java -Dfile.encoding=UTF-8 -classpath /private/var/folders/pw/lb8dvl7d6474r5plrnwtcp180000gn/T/classpath298101813.jar com.hx.test12.Test02WechatJson

$shortenJar 里面仅仅包含一个 清单文件, 里面的 classpath 如下

注意清单文件是有规范的, 比如这里一行多少字符, 换行之后几个空格, 这些都是有约束的

6. java -jar $springbootJar

我们做 spring boot 项目, 打包的话 可以直接生成一个可执行的 jar

直接 java -jar $springbootJar 就可以启动服务了, 非常方便

当然 也是 spring 代理了一次, 后面将执行工作交给了我们的 XXXApplication

里面的查询 类 spring 自己封装了一套 seach 体系

如何更加 轻量级 的发布 java application

呵呵 这里主要介绍一些 我们平时项目中应该怎么更加轻量级的发布 普通的 java application

首先 打包只需要打包 我们经常变化的部分

其他的相对比较固定的依赖 等等, 可以直接上传到服务器 我们通过 classpath 来关联

$classpath 太长的情况我们应该怎么处理?, idea 提供了两种解决方式

但是 我们这里显然是更加适合 CommandlineRunner 的处理方式, 因此 需要自己吧 CommandlineRunner dump 出来, 可能需要稍微做一些调整, 原有的 CommandlineRunner 在读取了 $classpathFile 之后就删除了该文件, 我们这里 显然是不想删除 $classpathFile

思路 大体就这些, 接下来 分享一些 发布相关脚本

总体分为三类文件, 一类是 common 脚本, 一类是应用脚本, 一类是 CommandlineRunner 所在的包

common 这边主要是提供一些公共的服务, 比如 启动, 关闭, 备份 等等

应用这边主要提供 启动服务, 关闭服务, 备份服务, 重启服务, 发布服务 等等

CommandlineRunner 主要是提供 shorten $classpath 的服务

CommandlineRunner 我们这里就不多赘述了, 自己参见 idea 的 CommandlineRunner 即可, 我这里也只是封装了一个 bootstrap/CommandlineRunner.jar 而已

common/backup.sh

echo " backup start ... "

SCRIPT_DIR=$(cd $(dirname $0); pwd)
MY_BASE_DEFAULT=$(cd $SCRIPT_DIR; cd ..; pwd)
PWD=`pwd`
MY_BASE=${MY_BASE-$MY_BASE_DEFAULT}
project=$1
mainClazz=$2

echo -e " \
env as follows \n \
SCRIPT_DIR : $SCRIPT_DIR \n pwd : $PWD \n MY_BASE : $MY_BASE \n project : $project \n \
mainClazz : $mainClazz \
"

if [ "$project" = "" ]; then
    echo " please specify project at \$1 "
    exit
fi
if [ "$mainClazz" = "" ]; then
    echo " please specify main clazz file at \$2 "
    exit
fi

projectFolder=$MY_BASE/$project
if [ ! -d "$projectFolder" ]; then
    echo " project folder $projectFolder does not exists, please check that "
    exit
fi

# do business
curDate=$(date "+%Y-%m-%d")
curTime=$(date "+%H-%M-%S")

bakDir="$MY_BASE/bak/$curDate/$project/$curTime"
mkdir -p "$bakDir"

echo " backup project $project to $bakDir "

# 1. zip dev/bak first, then transfer bak.zip 
zip -r $projectFolder/dev/bak.zip $projectFolder/dev/bak/* 
rm -rf $projectFolder/dev/bak/*
mv $projectFolder/dev/bak.zip $projectFolder/dev/bak/bak.zip
cp -r $projectFolder/dev/bak/* $bakDir/ 2>/dev/null
echo " copied /dev/bak/* in project $project to $bakDir "

echo " backup end ... "

common/commandLineWrapperStartUp.sh

echo " startup start ... "

SCRIPT_DIR=$(cd $(dirname $0); pwd)
MY_BASE_DEFAULT=$(cd $SCRIPT_DIR; cd ..; pwd)
PWD=`pwd`
MY_BASE=${MY_BASE-$MY_BASE_DEFAULT}
project=$1
ideaClasspathFile=$2
mainClazz=$3
mainArgs=$4

echo -e " \
env as follows \n \
SCRIPT_DIR : $SCRIPT_DIR \n pwd : $PWD \n MY_BASE : $MY_BASE \n project : $project \n \
ideaClasspathFile : $ideaClasspathFile \n mainClazz : $mainClazz \n mainArgs : $mainArgs \
"

if [ "$project" = "" ]; then
    echo " please specify project at \$1 "
    exit
fi
if [ "$ideaClasspathFile" = "" ]; then
    echo " please specify idea classpath file at \$2 "
    exit 
fi
if [ "$mainClazz" = "" ]; then
    echo " please specify main clazz file at \$3 "
    exit
fi

projectFolder=$MY_BASE/$project
ideaClasspathFileFullpath=$MY_BASE/$project/$ideaClasspathFile
if [ ! -d "$projectFolder" ]; then
    echo " project folder $projectFolder does not exists, please check that "
    exit
fi
if [ ! -f "$ideaClasspathFileFullpath" ]; then
    echo " idea classpath file $ideaClasspathFileFullpath does not exists, please check that "
    exit
fi


EXISTS_PID=`jps -lvm | grep $mainClazz | grep -v grep | awk '{print $1}'`
if [ "$EXISTS_PID" = "" ]; then
#    nohup java -cp $MY_BASE/common/Bootstrap.jar com.hx.idea.CommandLineWrapper $ideaClasspathFile $mainClazz $mainArgs > ./logs/nohup.log 2>&1 &
    java -jar /meiya/bootstrap/CommandLineWrapper.jar $ideaClasspathFileFullpath $mainClazz $mainArgs > logs/nohup.log  2>&1 &
	
	# tail log
    sleep 3s
    EXISTS_PID=`jps -lvm | grep $mainClazz | grep -v grep | awk '{print $1}'`
    echo " the main class $mainClazz startup succeed, running at $EXISTS_PID "
	tail -f logs/nohup.log
else
    echo " the main class $mainClazz already running at $EXISTS_PID "
fi

echo " startup end ... "

common/commandLineWrapperShutdown.sh

echo " shutdown start ... "

SCRIPT_DIR=$(cd $(dirname $0); pwd)
MY_BASE_DEFAULT=$(cd $SCRIPT_DIR; cd ..; pwd)
PWD=`pwd`
MY_BASE=${MY_BASE-$MY_BASE_DEFAULT}
project=$1
mainClazz=$2

echo -e " \
env as follows \n \
SCRIPT_DIR : $SCRIPT_DIR \n pwd : $PWD \n MY_BASE : $MY_BASE \n project : $project \n \
mainClazz : $mainClazz \
"

if [ "$project" = "" ]; then
    echo " please specify project at \$1 "
    exit
fi
if [ "$mainClazz" = "" ]; then
    echo " please specify main clazz file at \$2 "
    exit
fi

projectFolder=$MY_BASE/$project
if [ ! -d "$projectFolder" ]; then
    echo " project folder $projectFolder does not exists, please check that "
    exit
fi


EXISTS_PID=`jps -lvm | grep $mainClazz | grep -v grep | awk '{print $1}'`
if [ "$EXISTS_PID" = "" ]; then
    echo " the main class $mainClazz does not startup "
else
    kill -9 $EXISTS_PID
    echo " the main class $mainClazz shutdown succeed, kill -9 $EXISTS_PID "
fi

echo " shutdown end ... "

$appHome/startUp.sh

../common/commandLineWrapperStartUp.sh $APP_NAME ./dev/conf/gen_idea_classpath.txt org.springframework.boot.loader.JarLauncher

$appHome/shutdown.sh

../common/commandLineWrapperShutdown.sh $APP_NAME org.springframework.boot.loader.JarLauncher

$appHome/restart.sh

# 1. shutdown
echo ""
./shutdown.sh

sleep 3s

# 2. startup
echo ""
./startUp.sh

$appHome/backup.sh

bakDir="./dev/bak"
rm -rf $bakDir
mkdir -p $bakDir

echo " prepare copy files to /dev/bak "

cp *.properties $bakDir/ 2>/dev/null
echo " copied *.properties to $bakDir "
cp *.txt $bakDir/ 2>/dev/null
echo " copied *.txt to $bakDir "
cp *.jar $bakDir/ 2>/dev/null
echo " copied *.jar to $bakDir "
cp *.xml $bakDir/ 2>/dev/null
echo " copied *.xml to $bakDir "
cp *.sh $bakDir/ 2>/dev/null
echo " copied *.sh to $bakDir "

cp -r resources $bakDir/ 2>/dev/null
echo " copied /resources to $bakDir "

echo " copied files to /dev/bak "
echo ""
../common/backup.sh $APP_NAME org.springframework.boot.loader.JarLauncher

$appHome/release.sh

mainJar="$APP_NAME-0.0.1.jar"
updatedMainJar="$APP_NAME-0.0.1.jar.0"

# 0. sanity check
# ifs update for filename with blank
echo ""
SAVED_IFS=$IFS
IFS=$(echo -en "\n\b")

if [ ! -f "$updatedMainJar" ]; then
    echo " the newMainJar $updatedMainJar does not exists, please check that "
    exit
fi

# 1. backup first
./backup.sh

# 2. shutdown
echo ""
./shutdown.sh

# 3. release jar
echo ""
rm -rf $mainJar
echo " removed oldMainJar $mainJar "
move $updatedMainJar $mainJar
echo " rebuild $mainJar succeed "


sleep 3s

# 4. startup
echo ""
./startUp.sh


# restore ifs
IFS=$SAVED_IFS

新增一个项目, 需要拷贝一套 应用脚本, 然后需要调整一些配置

  1. startUp.sh 需要调整 $APP_NAME, $classpathFIle, $mainClazz

  2. shutdown.sh 需要调整 $APP_NAME, $mainClazz

  3. restart.sh 不需要调整

  4. backup.sh 需要调整 备份的业务, $APP_NAME, $mainClazz

  5. release.sh 需要调整 $mainJar, $updatedMainJar, 发布的业务

spring boot 的包包括了依赖, 应该怎么 更加轻量级的发布 ?

这里的思路也很简单, 发布的服务器上面存放一份完整的 $springbootJar 的解压的版本 deflatedJar, 里面包含了 项目的 class, 配置文件, 依赖信息, spring 的代理信息 等等

然后我们通过 maven 打包 spring boot 项目之后, 清理掉较大的 依赖 这部分 jar, 这时候 整个 jar 包就比较小了

然后 上传到发布服务器, 然后 解压待发布的 jar, 覆盖 deflatedJar 里面的已有的内容, 然后再重新打 jar 包, 然后替换掉之前的 发布包, 然后启动服务即可

主要是 release.sh 中的 发布的这一部分需要做一些调整

# 3. release jar
echo ""
rm -rf $mainJar
echo " removed oldMainJar $mainJar "
# unzip -o -d deflatedJar/ $APP_NAME-0.0.1.jar.0
unzip -o -q -d deflatedJar/ $updatedMainJar
echo " deflated lastest jar into defaltedJar/ "
rm -rf $updatedMainJar
echo " removed updatedMainJar $updatedMainJar "
rm -rf deflatedJar/BOOT-INF/classes/application.yml
cp application.yml deflatedJar/BOOT-INF/classes/application.yml
echo " replace application.yml to BOOT-INF/classes/application.yml "
cd deflatedJar
# zip -r -0 ../$APP_NAME-0.0.1.jar .
zip -r -q -0 ../$mainJar .
cd .. 
echo " rebuild $mainJar succeed "

完

相关推荐
大海星辰7983 分钟前
java itext后端生成pdf导出
java·pdf
黄昏_10 分钟前
2024版本IDEA创建Sprintboot项目下载依赖缓慢
java·ide·intellij-idea
大G哥21 分钟前
基于K8S1.28.2实验rook部署ceph
java·ceph·云原生·容器·kubernetes
阿华的代码王国1 小时前
【Bug合集】——Java大小写引起传参失败，获取值为null的解决方案
java·开发语言·springboot
redemption_21 小时前
mybatis 动态SQL语句
java·jvm·mybatis
北执南念1 小时前
Mybatis-Plus 多租户插件&属性自动赋值
java·mybatis
Atlasgorov1 小时前
JAVA_单例模式
java·开发语言·单例模式
BestandW1shEs1 小时前
设计模式的基本概述
java·设计模式
G皮T1 小时前
【设计模式】入门 23 种设计模式（代码讲解）
java·设计模式·软件工程·创建型模式·行为型模式·结构型模式
南宫生2 小时前
力扣-Hot100-链表其一【算法学习day.34】
java·学习·算法·leetcode·链表
热门推荐
01Unity中PICO实现 隔空取物 和 接触抓取物体02聊聊 Python 中的同步原语，为什么有了 GIL 还需要同步原语03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04RAG 实践- Ollama+RagFlow 部署本地知识库05玄机平台应急响应—webshell查杀06组基轨迹建模 GBTM的介绍与实现（Stata 或 R）07将 HuggingFace 模型转换为 GGUF 及使用 ollama 运行 —— 以 Qwen2-0.5B 为例08文件或文件夹名称中有空格如何批量去除09Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO10AI一键生成短视频