pyinstaller打包一个Pytorch项目及其常见问题

文章目录

1、如何打包
2、常见问题
- [2.1 闪退](#2.1 闪退)
- [2.2 OSError: could not get source code](#2.2 OSError: could not get source code)
- [2.3 ModuleNotFoundError: No module named 'unittest.mock'](#2.3 ModuleNotFoundError: No module named 'unittest.mock')
- [2.4 Aborting build process due to attempt to collect multiple Qt bindings packages: attempting to run hook for 'PyQt5', while hook for 'PySide6' has already been run! PyInstaller does not support multiple Qt bindings packages in a frozen application - either ensure that the build environment has only one Qt bindings package installed, or exclude the extraneous bindings packages via the module exclusion mechanism (--exclude command-line option, or excludes list in the spec file).](#2.4 Aborting build process due to attempt to collect multiple Qt bindings packages: attempting to run hook for 'PyQt5', while hook for 'PySide6' has already been run! PyInstaller does not support multiple Qt bindings packages in a frozen application - either ensure that the build environment has only one Qt bindings package installed, or exclude the extraneous bindings packages via the module exclusion mechanism (--exclude command-line option, or excludes list in the spec file).)
- [2.5 文件读写失败：可缺失一些资源文件](#2.5 文件读写失败：可缺失一些资源文件)
- [2.6 Failed to load cpm_kernels:File cuda/embedding.fatbin not found in cpm_kernels.kernels.base](#2.6 Failed to load cpm_kernels:File cuda/embedding.fatbin not found in cpm_kernels.kernels.base)
- [2.7 图标不更新](#2.7 图标不更新)
- [2.8 双击后无任何反应，在终端执行也无任何反应和报错信息](#2.8 双击后无任何反应，在终端执行也无任何反应和报错信息)
- [xx 其他异常](#xx 其他异常)
3、打包CUDA环境

我有一个基于pytorch的动漫化Stable Diffusion项目，使用pyside6写了一个可视化界面。但是在新环境使用需要搭建Nvidia-Driver、CUDA、cuDNN和含pytorch的python环境，十分繁琐，所以需求是将项目打包为可执行文件，打包过程中将python环境一起打包，在新环境可以使用自带的python解释器，所以不需要配置python环境。

pyinstaller是python项目的一个打包工具（也有可视化的auto-py-to-exe工具，实际上就是pyinstaller非官方的gui版本），在需要打包的环境中安装pip install pyinstaller即可

1、如何打包

pyinstaller本身是命令行工具，比如主程序为main.py，通过pyinstaller main.py就会打包为exe文件（Windows）或可执行文件（Linux），一些常用的参数如下：

-F, --onefile：将所有文件打包为一个单独的可执行文件（更干净，但在运行时会将打包内容解压到临时目录中，会影响启动速度）。
-D, --onedir：将所有文件打包为一个目录，包含可执行文件和所有依赖的文件（默认，这种方式通常更方便调试，因为所有依赖都放在一个目录下，更容易找到和替换特定的文件）。

实际上在打包分为两个过程：生成.spec文件前和生成.spec文件后。.spec描述了如何将应用程序和所有相关的依赖项打包在一起，第一阶段会分析代码记录依赖的库等信息，生成.spec文件。生成后这个文件是可以手动修改的，实际上和pyinstaller的参数是一样的，可以在命令行指定，也可以在.spec修改。

如果已经有一个.spec文件，也可以通过pyinstaller main.spec根据你制定的spec文件进行打包，更加可控。

通过pyinstaller main.py或者pyinstaller main.spec成功打包一个exe文件，但是你激动双击后会发现诸多Error

2、常见问题

2.1 闪退

双击软件后窗口闪退，一般都是程序出错，也算是程序运行结束，自动关闭。可以先打开一个cmd窗口，然后手动.\main.exe执行，这样程序结束后就不会闪退，可以看到具体的报错问题。

或者在打包之前，使用异常捕获，比如在主程序main.py中：

python 复制代码

if __name__=="__main__":
    print("程序正在启动中......")
    try:
        # 你的核心程序run()
    except Exception as ex:
        print(f"程序出错: {ex}")
        input("按下任意键退出...")

当打包后双击exe出错，也会被程序捕获，不会闪退

2.2 OSError: could not get source code

这个问题和pytorch有关，当你定位到问题函数会发现被@torch.jit.script装饰，网上多数也是由于这个装饰引起的。解决办法时在主程序的最开始加入下面代码：

python 复制代码

def script_method(fn, _rcb=None):
    return fn
def script(obj, optimize=True, _frames_up=0, _rcb=None):
    return obj
import torch.jit
torch.jit.script_method = script_method
torch.jit.script = script

2.3 ModuleNotFoundError: No module named 'unittest.mock'

spec文件中设置hiddenimports=['unittest.mock'],，该类型的错误都可以手动添加到依赖hiddenimports。对应的命令行参数是--hidden-import

2.4 Aborting build process due to attempt to collect multiple Qt bindings packages: attempting to run hook for 'PyQt5', while hook for 'PySide6' has already been run! PyInstaller does not support multiple Qt bindings packages in a frozen application - either ensure that the build environment has only one Qt bindings package installed, or exclude the extraneous bindings packages via the module exclusion mechanism (--exclude command-line option, or excludes list in the spec file).

似乎是pyside6和其他QT冲突，解决办法参见 https://blog.csdn.net/2301_79954314/article/details/140937024，没有安装pyqt的可以pip list查看有哪些pyqt包然后卸载。

2.5 文件读写失败：可缺失一些资源文件

将缺失的资源文件复制到指定文件夹

2.6 Failed to load cpm_kernels:File cuda/embedding.fatbin not found in cpm_kernels.kernels.base

上面是针对cpm_kernels库，类似这种报错，首先查看库打包后的依赖目录是否有这个库，没有则复制进入即可

2.7 图标不更新

在spec文件中通过icon="adhmy-tlihr-001.ico",指定图标（图标文件需要在同级目录），打包后产生的exe文件仍然是默认的。首先注意到：启动后有图标。

根据文章python3 pyinstaller 图标改变不了的问题提到资源管理器缓存问题，尝试将main.exe复制到其他文件夹，确实有图标了，放回去又没有，应该就是缓存问题。此时可以重启电脑，或者重启资源管理器：在任务管理器的详细信息页卡中，结束explorer.exe，然后文件-运行新任务-浏览，在C:\Windows中找到explorer.exe启动即可。

2.8 双击后无任何反应，在终端执行也无任何反应和报错信息

我遇到的这个问题，将源_Intelnal文件夹复制到该项目并替换就好了，可能是对_internal中某些文件误操作导致缺少某个文件

xx 其他异常

需要定位点打印信息，如果是一个文件路径需要检查是否存在，否则复制源码到该路径下。

3、打包CUDA环境

上述虽然可以不用配置python环境，但是还是需要安装GPU驱动和CUDA。当你打包得到exe和_internal文件夹后，可以直接去CUDA的安装文件夹C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin复制所有文件到_internal文件夹下。但是可以发现其中有很多的dll文件，有一些可能和项目无关，我自己的项目经过测试下面这些是用不到的（去除分隔符还是可以正常运行），总共约1.8GB。除此之外，一些exe文件也是没用的（虽然文件比较小），也可以排除，减小发行包的大小。

事实上上面的dll库在_internal\torch\lib也有，所以是重复了。_internal\torch\lib文件夹约4G，文件如下：