Jenkins - Python 虚拟环境

Jenkins - Python 虚拟环境

引言

Automation 脚本通常会部署到 Jenkins 上运行,Jenkins 环境是随机分配虚拟机的,有些 Node 上虚拟机环境还都不一样,安装的依赖包,操作系统也各不相同。经常有遇到脚本有时跑失败,有时跑成功了,很大原因就是安装脚本所需的安装包失败。我们可以用虚拟环境来解决这一问题,今天就来了解一下 Python 虚拟环境。

Python 虚拟环境

Python 虚拟环境 (Virtual Environment) 是一种隔离的环境,每个虚拟环境都有自己的 Python 解释器和一组独立的库,从而避免了不同项目之间的依赖冲突。

使用虚拟环境有许多好处,尤其在管理项目依赖和开发环境时显得尤为重要。

  1. 依赖隔离
    虚拟环境允许你为每个项目创建独立的依赖环境。这意味着一个项目中的库和版本不会影响到另一个项目。这样可以避免版本冲突和兼容性问题。
  2. 更好的项目管理
    在虚拟环境中,你可以安装特定于某个项目的依赖包,并确保这些包的版本是项目所需的版本。这有助于确保项目在不同开发环境中的一致性。
  3. 简化部署
    使用虚拟环境可以简化项目的部署过程。通过生成 requirements.txt 文件,你可以轻松地在任何环境中重现项目的依赖配置,从而简化应用的安装和部署。
  4. 提高安全性
    虚拟环境可以隔离项目的依赖包,从而减少与系统全局包的交互。这有助于避免意外修改系统级的库和包,降低了引入安全风险的可能性。
  5. 多个 Python 版本共存
    虚拟环境允许你在同一台机器上使用不同版本的 Python。这对于需要同时维护和开发多个基于不同 Python 版本的项目特别有用。
  6. 简化开发环境设置
    开发人员可以为项目创建一个统一的开发环境配置,确保团队成员之间的一致性。通过共享虚拟环境配置文件(如 requirements.txt),团队成员可以快速搭建和同步开发环境。
  7. 避免权限问题
    在某些操作系统上,安装全局包可能需要管理员权限。使用虚拟环境可以避免这些权限问题,因为虚拟环境中的包安装在用户目录下,无需管理员权限。
  8. 提供清洁的环境
    虚拟环境提供一个干净的工作区,不包含任何未使用的全局安装包。这使得调试和测试更加简洁和明确。

总结

使用虚拟环境不仅能提高开发效率,还能减少项目之间的依赖冲突和兼容性问题,是现代 Python 开发中不可或缺的工具。通过合理利用虚拟环境,开发人员可以更好地管理和维护项目,提高开发和部署的质量和效率。

创建 Python 虚拟环境

安装 virtualenv(可选)

virtualenv是一个用于创建隔离的Python环境的第三方工具。虽然 Python 3.3 及以上版本内置了venv模块,可以直接创建虚拟环境,但virtualenv提供了一些额外的功能和更广泛的兼容性,特别是在早于 Python 3.3 的版本中。

如果你使用的是 Python 3.3 或更高版本,并且只需要基本的虚拟环境功能,那么你可能不需要安装virtualenv,因为你可以直接使用内置的venv模块。然而,如果你需要virtualenv提供的额外功能或者你在使用早于 Python 3.3 的版本,那么你需要安装virtualenv

安装virtualenv的命令如下:

shell 复制代码
pip install virtualenv

这个命令使用pip(Python的包管理器)来安装virtualenv。一旦安装,你就可以使用virtualenv命令来创建虚拟环境了。

创建虚拟环境

使用 venv 模块(Python 3.3 及以上版本自带)创建虚拟环境:

shell 复制代码
python -m venv myenv

或者使用 virtualenv:

shell 复制代码
virtualenv myenv

其中 myenv 是虚拟环境的名称,可以随意命名。执行这个命令后,venv 或 virtualenv 模块会在当前目录下创建一个名为 myenv 的文件夹,其中包含了一个独立的 Python 解释器以及一个空的 pip 库。这样,你就可以在这个虚拟环境中安装和管理包,而不会影响到系统级别的Python环境。

激活虚拟环境

在不同操作系统上,激活虚拟环境的方式略有不同,激活虚拟环境后,你的命令行提示符可能会显示虚拟环境的名称,表明虚拟环境已经被激活。

  • Windows:
shell 复制代码
myenv\Scripts\activate
  • macOS 和 Linux:
shell 复制代码
source myenv/bin/activate

如果你遇到了 source: not found 错误,这通常意味着你正在使用的 shell 不识别 source 命令,在Unix或类Unix系统(如 Linux 和 MacOS)中,.(点命令)是 source 命令的一个别名,所以可以尝试下面命令

shell 复制代码
. myvenv/bin/activate

安装依赖包

在虚拟环境激活后,可以使用 pip 安装所需的包。例如:

shell 复制代码
pip install requests

退出虚拟环境(可选)

虚拟环境的激活只对当前 shell session有效,不跨 session 传递,所以这个命令是可选的。

可以通过以下命令退出虚拟环境:

shell 复制代码
deactivate

注意

如果你在一个新的 shell session 中工作,之前激活的虚拟环境不会自动激活。每次你开启一个新的 shell session 时,如果你想在该 session 中使用之前创建的虚拟环境,你需要手动激活它。虚拟环境的激活只对当前 shell session有效,不跨 session 传递。

这意味着,对于每个新的 shell session,如果你想使用特定的虚拟环境,你需要重复激活步骤。记住,每次你开启一个新的 shell session 并希望使用虚拟环境时,这个激活步骤都是必需的。这确保了你的项目依赖是隔离的,并且不会不小心使用到全局 Python 环境中的包。

如果在另外一个 Shell session 中不激活虚拟环境,只是临时运行某个命令,也可以直接使用虚拟环境目录下执行命令

例如:

shell 复制代码
myenv/bin/python -m pip install -r requirements.txt 

Python 虚拟环境实践

下面是一个完整的示例,展示了如何创建和使用虚拟环境:

命令 python -m venv myvenv --system-site-packages --clear 用于创建一个新的 Python 虚拟环境,同时包含了一些特定的选项,如下所述:

  • --system-site-packages: 这个选项使得虚拟环境能够访问系统级 Python 安装中的 site-packages 目录下的包。这意味着虚拟环境不仅可以使用在其内部安装的包,还可以使用全局安装的包。
  • --clear: 如果目标目录(在这个例子中是 myvenv 目录)已经存在,这个选项会在创建新的虚拟环境之前清除目标目录中的所有内容。这对于重置虚拟环境到一个干净的状态很有用。
shell 复制代码
cat /proc/version
sudo apt -y install python3.8-venv
whereis python
python -V
python3 -V
python -m venv myvenv --system-site-packages --clear
. myvenv/bin/activate
# 安装依赖包
pip install requests
# 验证安装
python -c "import requests; print(requests.__version__)"

如果在尝试使用 python -m venv myenv 创建虚拟环境时遇到 "ensurepip is not available" 的错误,这意味着 Python 安装中缺少 ensurepip模块,该模块负责在虚拟环境中安装 pip。这个问题可能发生在某些 Python 安装中,特别是在某些 Linux 发行版上,它们可能没有包含ensurepip。

Jenkinns 虚拟机这个版本就没有包含 ensurepip。所以需要执行 sudo apt -y install python3.8-venv 命令

这条命令是在基于Debian的Linux系统(如Ubuntu)中使用 apt 包管理器安装 python3.8-venv 包的命令

python3.8-venv 包提供了 Python 3.8 的虚拟环境支持

bash 复制代码
18:42:18 + cat /proc/version
18:42:18 Linux version 5.15.0-1063-aws (buildd@lcy02-amd64-003) (gcc (Ubuntu 9.4.0-1ubuntu1~20.04.2) 9.4.0, GNU ld (GNU Binutils for Ubuntu) 2.34) #69~20.04.1-Ubuntu SMP Fri May 10 19:20:12 UTC 2024
相关推荐
湫ccc5 分钟前
《Python基础》之pip换国内镜像源
开发语言·python·pip
hakesashou7 分钟前
Python中常用的函数介绍
java·网络·python
菜鸟的人工智能之路17 分钟前
极坐标气泡图:医学数据分析的可视化新视角
python·数据分析·健康医疗
菜鸟学Python18 分钟前
Python 数据分析核心库大全!
开发语言·python·数据挖掘·数据分析
小白不太白95019 分钟前
设计模式之 责任链模式
python·设计模式·责任链模式
喜欢猪猪25 分钟前
Django:从入门到精通
后端·python·django
糖豆豆今天也要努力鸭31 分钟前
torch.__version__的torch版本和conda list的torch版本不一致
linux·pytorch·python·深度学习·conda·torch
bug管理者44 分钟前
UI自动化测试中公认最佳的设计模式-POM
jenkins·策略模式
何大春1 小时前
【弱监督语义分割】Self-supervised Image-specific Prototype Exploration for WSSS 论文阅读
论文阅读·人工智能·python·深度学习·论文笔记·原型模式
在下不上天1 小时前
Flume日志采集系统的部署,实现flume负载均衡,flume故障恢复
大数据·开发语言·python