Conda 环境打包迁移完整指南:处理可编辑安装包(Editable Packages)

文章目录

  • [一 迁移环境和问题说明](#一 迁移环境和问题说明)
    • [1.1 适用场景](#1.1 适用场景)
    • [1.2 核心问题](#1.2 核心问题)
    • [1.3 解决思路](#1.3 解决思路)
    • [1.4 注意事项](#1.4 注意事项)
  • [二 conda环境迁移完整操作步骤](#二 conda环境迁移完整操作步骤)
    • [2.1 在源机器(AutoDL)上操作](#2.1 在源机器(AutoDL)上操作)
    • [2.2 在目标机器上恢复](#2.2 在目标机器上恢复)
    • [2.3 自动化恢复脚本(restore.sh)](#2.3 自动化恢复脚本(restore.sh))

一 迁移环境和问题说明

1.1 适用场景

  • AutoDL / 本地服务器 配置好训练环境,需要迁移到 离线集群 / 其他服务器 ,环境中包含 开发中的自定义包 (通过 pip install -e 安装)。

1.2 核心问题

conda-pack 无法打包可编辑安装的包(editable packages),报错:

复制代码
CondaPackError: Cannot pack an environment with editable packages installed

1.3 解决思路

分离打包:环境依赖与源码分离

  1. 打包环境时忽略可编辑包(只保留依赖库)。
  2. 单独打包源码目录。
  3. 在目标机器上重新链接源码。

1.4 注意事项

  1. 路径一致性 :如果代码中有硬编码的绝对路径(如 /autodl-fs/data/...),建议在目标机器保持相同路径结构,或使用软链接:

    bash 复制代码
    sudo ln -s /actual/path /autodl-fs/data/EasyR1
  2. 权限问题 :如果目标机器普通用户无法创建 /autodl-fs,可修改源码安装位置,但需同步修改相关配置。

  3. 其他可编辑包:如果有多个可编辑包,每个都需要单独打包源码并重新安装。

  4. 环境变量 :检查 ~/.bashrc 或项目中是否有环境变量依赖,一并迁移。

二 conda环境迁移完整操作步骤

2.1 在源机器(AutoDL)上操作

  1. 打包 Conda 环境(忽略可编辑包)
bash 复制代码
# 进入要保存压缩包的目录
cd ~/autodl-fs

# 打包环境,忽略可编辑安装的包
conda pack -p /autodl-fs/data/easy_r1_env \
           -o easy_r1_env.tar.gz \
           --ignore-editable-packages
  1. 打包 EasyR1 源代码
bash 复制代码
# 将 EasyR1 源码目录压缩
cd /autodl-fs/data
tar -czf EasyR1.tar.gz EasyR1
  1. 下载文件到本地
    需要下载的文件:
  • ~/autodl-fs/easy_r1_env.tar.gz(环境包)

  • /autodl-fs/data/EasyR1.tar.gz(源码包)

  • 目录结构

    迁移文件/
    ├── easy_r1_env.tar.gz # 环境包
    ├── EasyR1.tar.gz # 源码包
    └── restore.sh # 恢复脚本(可选)

2.2 在目标机器上恢复

  1. 上传文件到目标机器:将两个压缩包上传到目标机器的合适位置,例如 /home/user//opt/
  2. 解压并恢复 Conda 环境
bash 复制代码
# 创建环境目录
mkdir -p /path/to/easy_r1_env

# 解压环境
tar -xzf easy_r1_env.tar.gz -C /path/to/easy_r1_env

# 激活环境(此时只是临时激活)
source /path/to/easy_r1_env/bin/activate

# 修复环境路径(关键步骤!)
conda-unpack
  1. 解压并安装 EasyR1 源码
bash 复制代码
# 创建存放源码的目录(建议保持与原路径一致,避免混淆)
sudo mkdir -p /autodl-fs/data
sudo tar -xzf EasyR1.tar.gz -C /autodl-fs/data/

# 或者放到用户目录
mkdir -p ~/projects
tar -xzf EasyR1.tar.gz -C ~/projects/
  1. 重新安装为可编辑模式
bash 复制代码
# 确保已激活环境
conda activate /path/to/easy_r1_env

# 进入源码目录,重新安装为可编辑模式
cd /autodl-fs/data/EasyR1  # 或你实际解压的路径
pip install -e .
  1. 验证安装
bash 复制代码
# 检查 EasyR1 是否在可编辑包列表中
pip list -e

# 测试导入
python -c "import EasyR1; print(EasyR1.__file__)"

2.3 自动化恢复脚本(restore.sh

bash 复制代码
#!/bin/bash
# 在目标机器上运行此脚本

ENV_NAME="easy_r1_env"
ENV_PATH="/opt/$ENV_NAME"          # 修改为你想要的路径
SRC_PATH="/autodl-fs/data/EasyR1"  # 建议保持原路径,避免代码硬编码问题
PROJECT_TAR="EasyR1.tar.gz"

echo "=== 1. 解压 Conda 环境 ==="
mkdir -p $ENV_PATH
tar -xzf ${ENV_NAME}.tar.gz -C $ENV_PATH
source $ENV_PATH/bin/activate
conda-unpack
echo "环境解压完成!"

echo "=== 2. 解压项目源码 ==="
sudo mkdir -p $(dirname $SRC_PATH)
sudo tar -xzf $PROJECT_TAR -C $(dirname $SRC_PATH)
echo "源码解压完成!"

echo "=== 3. 重新安装可编辑包 ==="
cd $SRC_PATH
pip install -e .
echo "EasyR1 安装完成!"

echo "=== 4. 验证 ==="
pip list -e | grep -i easyr1 && echo "✅ 迁移成功!" || echo "❌ 请检查"

赋予执行权限并运行:

bash 复制代码
chmod +x restore.sh
./restore.sh
相关推荐
格桑阿sir12 小时前
09-大模型智能体开发工程师:结构化输出与JSON Schema
ai·大模型·llm·agent·json schema·智能体·结构化
百度智能云技术站13 小时前
训练周期减半:LoongForge 全链路优化 GR00T N1.6 训练,吞吐提升至 2.3 倍
机器人·llm
波波不语15 小时前
用 Dify 给工程监理公司做报告自动化:一次从"能跑"到"能用"的完整折腾记录。
llm
johnny23316 小时前
大模型基础之评测数据集
llm
lhxcc_fly17 小时前
4.LangChain--Prompt提示词
langchain·llm·prompt
ServBay17 小时前
别管跑分了,2026 本地编程大模型推荐与 GitHub Copilot 免费平替
llm·ai编程·github copilot
韦胖漫谈IT18 小时前
大模型到底是什么:用最朴素的话讲清楚
llm
zhangfeng113319 小时前
htc 中minconda 明明安装了 Python 3.10显示 python 3.8 因为 `conda activate` 没有真正切换成功
开发语言·python·conda
格桑阿sir19 小时前
14-大模型智能体开发工程师:ReAct推理-行动框架
ai·大模型·llm·agent·react·智能体·推理模型
程序员三明治20 小时前
【AI】RAG 数据分块(Chunk)策略与实践
java·人工智能·后端·ai·大模型·llm·rag