Jenkins - Python 虚拟环境
- 引言
- [Python 虚拟环境](#Python 虚拟环境)
- [创建 Python 虚拟环境](#创建 Python 虚拟环境)
-
- [安装 virtualenv(可选)](#安装 virtualenv(可选))
- 创建虚拟环境
- 激活虚拟环境
- 安装依赖包
- 退出虚拟环境(可选)
- 注意
- [Python 虚拟环境实践](#Python 虚拟环境实践)
引言
Automation 脚本通常会部署到 Jenkins 上运行,Jenkins 环境是随机分配虚拟机的,有些 Node 上虚拟机环境还都不一样,安装的依赖包,操作系统也各不相同。经常有遇到脚本有时跑失败,有时跑成功了,很大原因就是安装脚本所需的安装包失败。我们可以用虚拟环境来解决这一问题,今天就来了解一下 Python 虚拟环境。
Python 虚拟环境
Python 虚拟环境 (Virtual Environment) 是一种隔离的环境,每个虚拟环境都有自己的 Python 解释器和一组独立的库,从而避免了不同项目之间的依赖冲突。
使用虚拟环境有许多好处,尤其在管理项目依赖和开发环境时显得尤为重要。
- 依赖隔离
虚拟环境允许你为每个项目创建独立的依赖环境。这意味着一个项目中的库和版本不会影响到另一个项目。这样可以避免版本冲突和兼容性问题。 - 更好的项目管理
在虚拟环境中,你可以安装特定于某个项目的依赖包,并确保这些包的版本是项目所需的版本。这有助于确保项目在不同开发环境中的一致性。 - 简化部署
使用虚拟环境可以简化项目的部署过程。通过生成 requirements.txt 文件,你可以轻松地在任何环境中重现项目的依赖配置,从而简化应用的安装和部署。 - 提高安全性
虚拟环境可以隔离项目的依赖包,从而减少与系统全局包的交互。这有助于避免意外修改系统级的库和包,降低了引入安全风险的可能性。 - 多个 Python 版本共存
虚拟环境允许你在同一台机器上使用不同版本的 Python。这对于需要同时维护和开发多个基于不同 Python 版本的项目特别有用。 - 简化开发环境设置
开发人员可以为项目创建一个统一的开发环境配置,确保团队成员之间的一致性。通过共享虚拟环境配置文件(如 requirements.txt),团队成员可以快速搭建和同步开发环境。 - 避免权限问题
在某些操作系统上,安装全局包可能需要管理员权限。使用虚拟环境可以避免这些权限问题,因为虚拟环境中的包安装在用户目录下,无需管理员权限。 - 提供清洁的环境
虚拟环境提供一个干净的工作区,不包含任何未使用的全局安装包。这使得调试和测试更加简洁和明确。
总结
使用虚拟环境不仅能提高开发效率,还能减少项目之间的依赖冲突和兼容性问题,是现代 Python 开发中不可或缺的工具。通过合理利用虚拟环境,开发人员可以更好地管理和维护项目,提高开发和部署的质量和效率。
创建 Python 虚拟环境
安装 virtualenv(可选)
virtualenv
是一个用于创建隔离的Python环境的第三方工具。虽然 Python 3.3 及以上版本内置了venv
模块,可以直接创建虚拟环境,但virtualenv
提供了一些额外的功能和更广泛的兼容性,特别是在早于 Python 3.3 的版本中。
如果你使用的是 Python 3.3 或更高版本,并且只需要基本的虚拟环境功能,那么你可能不需要安装virtualenv
,因为你可以直接使用内置的venv
模块。然而,如果你需要virtualenv
提供的额外功能或者你在使用早于 Python 3.3 的版本,那么你需要安装virtualenv
。
安装virtualenv
的命令如下:
shell
pip install virtualenv
这个命令使用pip
(Python的包管理器)来安装virtualenv
。一旦安装,你就可以使用virtualenv
命令来创建虚拟环境了。
创建虚拟环境
使用 venv 模块(Python 3.3 及以上版本自带)创建虚拟环境:
shell
python -m venv myenv
或者使用 virtualenv:
shell
virtualenv myenv
其中 myenv 是虚拟环境的名称,可以随意命名。执行这个命令后,venv 或 virtualenv 模块会在当前目录下创建一个名为 myenv 的文件夹,其中包含了一个独立的 Python 解释器以及一个空的 pip 库。这样,你就可以在这个虚拟环境中安装和管理包,而不会影响到系统级别的Python环境。
激活虚拟环境
在不同操作系统上,激活虚拟环境的方式略有不同,激活虚拟环境后,你的命令行提示符可能会显示虚拟环境的名称,表明虚拟环境已经被激活。
- Windows:
shell
myenv\Scripts\activate
- macOS 和 Linux:
shell
source myenv/bin/activate
如果你遇到了 source: not found
错误,这通常意味着你正在使用的 shell 不识别 source 命令,在Unix或类Unix系统(如 Linux 和 MacOS)中,.(点命令)是 source 命令的一个别名,所以可以尝试下面命令
shell
. myvenv/bin/activate
安装依赖包
在虚拟环境激活后,可以使用 pip 安装所需的包。例如:
shell
pip install requests
退出虚拟环境(可选)
虚拟环境的激活只对当前 shell session有效,不跨 session 传递,所以这个命令是可选的。
可以通过以下命令退出虚拟环境:
shell
deactivate
注意
如果你在一个新的 shell session 中工作,之前激活的虚拟环境不会自动激活。每次你开启一个新的 shell session 时,如果你想在该 session 中使用之前创建的虚拟环境,你需要手动激活它。虚拟环境的激活只对当前 shell session有效,不跨 session 传递。
这意味着,对于每个新的 shell session,如果你想使用特定的虚拟环境,你需要重复激活步骤。记住,每次你开启一个新的 shell session 并希望使用虚拟环境时,这个激活步骤都是必需的。这确保了你的项目依赖是隔离的,并且不会不小心使用到全局 Python 环境中的包。
如果在另外一个 Shell session 中不激活虚拟环境,只是临时运行某个命令,也可以直接使用虚拟环境目录下执行命令
例如:
shell
myenv/bin/python -m pip install -r requirements.txt
Python 虚拟环境实践
下面是一个完整的示例,展示了如何创建和使用虚拟环境:
命令 python -m venv myvenv --system-site-packages --clear 用于创建一个新的 Python 虚拟环境,同时包含了一些特定的选项,如下所述:
- --system-site-packages: 这个选项使得虚拟环境能够访问系统级 Python 安装中的 site-packages 目录下的包。这意味着虚拟环境不仅可以使用在其内部安装的包,还可以使用全局安装的包。
- --clear: 如果目标目录(在这个例子中是 myvenv 目录)已经存在,这个选项会在创建新的虚拟环境之前清除目标目录中的所有内容。这对于重置虚拟环境到一个干净的状态很有用。
shell
cat /proc/version
sudo apt -y install python3.8-venv
whereis python
python -V
python3 -V
python -m venv myvenv --system-site-packages --clear
. myvenv/bin/activate
# 安装依赖包
pip install requests
# 验证安装
python -c "import requests; print(requests.__version__)"
如果在尝试使用 python -m venv myenv 创建虚拟环境时遇到 "ensurepip is not available"
的错误,这意味着 Python 安装中缺少 ensurepip模块,该模块负责在虚拟环境中安装 pip。这个问题可能发生在某些 Python 安装中,特别是在某些 Linux 发行版上,它们可能没有包含ensurepip。
Jenkinns 虚拟机这个版本就没有包含 ensurepip。所以需要执行 sudo apt -y install python3.8-venv 命令
这条命令是在基于Debian的Linux系统(如Ubuntu)中使用 apt 包管理器安装 python3.8-venv 包的命令
python3.8-venv 包提供了 Python 3.8 的虚拟环境支持
bash
18:42:18 + cat /proc/version
18:42:18 Linux version 5.15.0-1063-aws (buildd@lcy02-amd64-003) (gcc (Ubuntu 9.4.0-1ubuntu1~20.04.2) 9.4.0, GNU ld (GNU Binutils for Ubuntu) 2.34) #69~20.04.1-Ubuntu SMP Fri May 10 19:20:12 UTC 2024