【conda】Linux系统中部署Conda环境

目录

[一、安装 Miniconda](#一、安装 Miniconda)

[1.1 下载 Miniconda 安装脚本](#1.1 下载 Miniconda 安装脚本)

[1.2 运行安装脚本](#1.2 运行安装脚本)

[1.3 初始化 Conda: 安装完成后,初始化 Conda 环境](#1.3 初始化 Conda: 安装完成后,初始化 Conda 环境)

[1.4 验证安装](#1.4 验证安装)

二、设置虚拟环境默认存放路径(可选)

三、conda创建虚拟环境

[3.1 创建 Conda 环境](#3.1 创建 Conda 环境)

[3.2 激活环境](#3.2 激活环境)

[3.3 安装依赖(可选)](#3.3 安装依赖(可选))

实用扩展命令


【详细conda命令】

常用conda命令可看:

▲【Canda】常用命令+虚拟环境创建到选择_使用conda创建虚拟环境的命令-CSDN博客▲【Canda】常用命令+虚拟环境创建到选择_使用conda创建虚拟环境的命令-CSDN博客

应用至jupterlab可看:

【Conda】环境应用至JupyterLab_conda install jupyterlab-CSDN博客


一、安装 Miniconda

Miniconda 是一个轻量级的 Conda 发行版,适合服务器环境。

1.1 下载 Miniconda 安装脚本

python 复制代码
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

1.2 运行安装脚本

python 复制代码
bash Miniconda3-latest-Linux-x86_64.sh -u

▲回车:进入协议,多点几下

▲输入yes,同意协议条款

▲选择存放路径(推荐放在数据盘),如下:

python 复制代码
/mnt/workspace/miniconda

/mnt/workspace是数据盘。


1.3 初始化 Conda: 安装完成后,初始化 Conda 环境

python 复制代码
source /mnt/workspace/miniconda/bin/activate

1.4 验证安装

python 复制代码
conda --version

输出示例:conda 25.5.1。


二、设置虚拟环境默认存放路径(可选)

python 复制代码
conda config --add envs_dirs /mnt/workspace/conda_env

▲/mnt/data/conda_env 表示存放路径

说明:只需设置一次,后面构建的虚拟环境都会默认存放在该路径下。如果需要再次更换存放路径再执行。


三、conda创建虚拟环境

3.1 创建 Conda 环境

1、创建新环境: 指定 Python 版本(如 3.11,兼容 Hugging Face、PEFT 等):

python 复制代码
conda create -n download_model python=3.11

▲download_model 表示创建的虚拟环境名称,可以自定义


3.2 激活环境

python 复制代码
conda activate download_model

提示符将变为 (llm_env)。


3.3 安装依赖(可选)

说明:以下步骤根据自己项目需求,自主选择安装相应依赖;

1、安装Pytorch 12.6

python 复制代码
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

用来 安装 PyTorch 及其相关库(带 CUDA 12.6 GPU 加速支持)

注意:

▲安装pytorch前先确定自己电脑是否有GPU,没有GPU请安装cpu版本的;

复制代码
pip3 install torch torchvision torchaudio

▲确保CUDA 12.6版本可以兼容

确定是否兼容可参考该文章对应内容:【CUDA&cuDNN安装】深度学习基础环境搭建_cudnn安装教程-CSDN博客


2、安装transformers

python 复制代码
pip install transformers==4.53.0

▲Hugging Face 推出的一个非常强大且广泛使用的 预训练模型库,它是 NLP、CV、语音等领域深度学习开发的"瑞士军刀"。

transformers 是一个支持 加载、使用、微调、部署各种大模型 的工具库,比如 BERT、GPT、T5、RoBERTa、ChatGPT、Qwen、LLaMA 等。


3、安装datasets

python 复制代码
pip install datasets

数据集加载和处理工具库 ,主要用于 自然语言处理(NLP) 任务,也可以用于其他机器学习任务。

datasets 就像是一个 "数据集超市",你只需一行代码,就可以下载并使用成千上万的标准数据集,比如:

  • 情感分类(SST-2、IMDB)

  • 阅读理解(SQuAD)

  • 文本生成(Wikitext、CNN/DailyMail)

  • 机器翻译(WMT)

  • 多语言任务(XNLI)

  • 还有图像、音频、表格等多模态任务!

    datasets 就像是一个 "数据集超市",你只需一行代码,就可以下载并使用成千上万的标准数据集,比如:

  • 情感分类(SST-2、IMDB)

  • 阅读理解(SQuAD)

  • 文本生成(Wikitext、CNN/DailyMail)

  • 机器翻译(WMT)

  • 多语言任务(XNLI)

  • 还有图像、音频、表格等多模态任务!


实用扩展命令

1、检查磁盘空间

python 复制代码
df -h

2、监控内存: 微调或推理时,实时监控GPU状态

python 复制代码
#安装gpu监控插件
pip install nvitop

#启动监控
nvitop

3、GPU 驱动和 CUDA:若使用 QLoRA 或 GGUF 推理,需确保 NVIDIA 驱动和 CUDA 已安装:

python 复制代码
nvidia-smi

4.克隆环境

python 复制代码
conda create -n ollama --clone download_model

▲ollama表示新创建的虚拟环境;

▲--clone download_model:表示把旧虚拟环境download_model中的依赖复制到新环境中;

5、删除虚拟环境

python 复制代码
conda env remove -n llm_env

▲llm_env:表示需要删除的虚拟环境

6、退出虚拟环境

python 复制代码
conda deactivate

7、查看服务器内存

python 复制代码
free -h

示例: