PyTorch - 高效快速配置 Conda + PyTorch 环境 (解决 segment fault )

欢迎关注我的CSDN:https://spike.blog.csdn.net/

本文地址:https://spike.blog.csdn.net/article/details/134463035

在配置算法项目时,因网络下载速度的原因,导致默认的 conda 与 pytorch 包安装缓慢,需要配置新的 conda 与 pip 源,以及下载安装 pytorch 环境。

1. 配置 conda 与 pip 源

配置 conda 清华源,vim ~/.condarc 添加:

bash 复制代码
channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
channel_priority: disabled
allow_conda_downgrades: true

配置 pip 阿里云源,先删除其他 pip 配置,再配置新的 pip 源,即:

bash 复制代码
rm /opt/conda/pip.conf
rm /root/.config/pip/pip.conf
vim ~/.pip/pip.conf

配置 pip 源包括 阿里云(aliyun) 与 Nvidia,如下:

复制代码
[global]
no-cache-dir = true
index-url = http://mirrors.aliyun.com/pypi/simple/
extra-index-url = https://pypi.ngc.nvidia.com
trusted-host = mirrors.aliyun.com pypi.ngc.nvidia.com

2. PyTorch

安装 conda 环境,初始化 conda和更新 conda,再创建特定的 conda 环境,即:

bash 复制代码
conda init bash
source ~/.bashrc
conda update -n base -c conda-forge conda
conda env list
conda create -y -n [your name] python=3.9

需要注意,尽量指定 python 版本。

PyTorch 安装官网:https://pytorch.org/get-started/locally/,之前版本的路径:https://pytorch.org/get-started/previous-versions/

主要包括 2 个版本:最新的 2.+,之前的1.31+版本。根据网络条件,选择不同的安装方式,需要注意的是:

可以根据具体的安装命令选择下载的包,例如:

bash 复制代码
pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117

需要注意:

  1. 选择正确的 cuda 版本,如 cu117。
  2. 选择正确的 python 版本,这个与创建 conda 环境相关,也可以进入 python 命令查看。
  3. 选择正确的环境,例如 linux_x86_64,是一般服务器的环境。

例如下载地址 https://download.pytorch.org/whl/,则需要下载的包:

bash 复制代码
pip install torch-1.13.1+cu117-cp39-cp39-linux_x86_64.whl
pip install torchvision-0.14.1+cu117-cp39-cp39-linux_x86_64.whl
pip install torchaudio-0.13.1+cu117-cp39-cp39-linux_x86_64.whl

可以上传至百度网盘,使用 bypy 包下载到服务器,使用 pip 进行安装,注意安装顺序是torch、torchvision、torchaudio,其他包默认安装,即可。

需要注意的是,如果遇到 segment fault ,参考 蛋白质结构预测 ESMFold 算法的工程配置

bash 复制代码
import torch
segment fault(core dumped) # 报错

则使用 unset LD_LIBRARY_PATH,即可,并且在文件 .bashrc.profile/etc/profile中查看,是否清除。

bash 复制代码
cat ~/.bashrc | grep LD_LIBRARY_PATH
cat ~/.profile | grep LD_LIBRARY_PATH
cat /etc/profile | grep LD_LIBRARY_PATH

PyTorch 的简易测试命令:

bash 复制代码
python

import torch
print(torch.__version__)  # 1.13.1
print(torch.cuda.is_available())  # True
exit()
相关推荐
得物技术1 分钟前
RAG—Chunking策略实战|得物技术
数据库·人工智能·算法
超龄超能程序猿5 分钟前
SpringAIalibaba +milvus本地化全链路知识库系统
java·人工智能·spring·milvus
胡耀超7 分钟前
AI应用开发入门,docker部署 Milvus + GPUStack (Attu+MinIO)的基础入门!
人工智能·docker·ai·大模型·milvus·rag·gpustack
rengang669 分钟前
103-Spring AI Alibaba Milvus RAG 示例
人工智能·spring·milvus·rag·spring ai·ai应用编程
钱彬 (Qian Bin)20 分钟前
项目实践6—全球证件智能识别系统(Qt客户端开发+FastAPI后端人工智能服务开发)
人工智能·qt·fastapi·证件识别
CodeCraft Studio34 分钟前
前端表格工具AG Grid 34.3 发布:重磅引入AI工具包,全面支持 React 19.2!
前端·人工智能·react.js·angular·ag grid·前端表格工具·透视分析
掘金一周42 分钟前
第一台 Andriod XR 设备发布,Jetpack Compose XR 有什么不同?对原生开发有何影响? | 掘金一周 10.30
前端·人工智能·后端
IT_陈寒1 小时前
React性能翻倍!3个90%开发者不知道的Hooks优化技巧 🚀
前端·人工智能·后端
算法打盹中1 小时前
深入解析 Transformer 模型:以 ChatGPT 为例从词嵌入到输出预测的大语言模型核心工作机制
人工智能·深度学习·语言模型·chatgpt·transformer·1024程序员节
Jet45051 小时前
玩转ChatGPT:Kimi OK Computer PPT制作
人工智能·powerpoint·kimi·ok computer