AutoDL 常用环境默认路径修改

环境配置

1. 修改Conda下载安装路径

为了支撑足够多的模型环境,不能够将Conda依赖包安装路径放在系统盘,所以修改Conda安装路径,步骤如下。

  1. 运行vim /root/.condarc命令,写入:
javascript 复制代码
envs_dirs:
  - /root/autodl-tmp/conda/envs
pkgs_dirs:
  - /root/autodl-tmp/conda/pkgs

envs和pkgs分别对应环境和python包安装的的路径,可自行选择。

  1. 使用conda info命令查看是否修改成功
null

2. 修改Huggingface默认下载路径

通过Hugging Face的Transformers库自动下载模型,会先缓存在默认路径:
Linux~/.cache/huggingface/hub
WindowsC:\Users\username.cache\huggingface\hub

考虑到预训练模型一般比较大,也不能将预训练模型下载到系统盘,因此需要修改Huggingface模型下载路径,步骤如下。

通过vim编译器永久设置,

bash 复制代码
vim ~/.bashrc

在末尾行添加,

ini 复制代码
export HF_HOME="/root/autodl-tmp/huggingface"  # 替换为你想更改的目标路径

然后保存退出。输入如下指令让它立即生效,

bash 复制代码
source ~/.bashrc

可通过如下指令查看是否设置成功,

bash 复制代码
env | grep HF_HOME

如果返回设置的路径,则成功,如图。

null

注意事项:

一般来说,如果存储空间足够的话,可以按照不同的模型代码要求进行下载和安装。存储空间不够的话,参考如下原则。

一些常用来修改的大规模的预训练模型(比如Stable Diffusion),建议优先存储到本地路径,以便调整预训练模型结构;

一些常用的工具类预训练模型(比如open_clip)可以直接存储到Huggingface的缓存路径,以便直接调用无需修改代码中的调用路径。

3. 加入Huggingface镜像

直接使用Huggingface官网下载预训练模型容易失败,可以使用镜像网站下载。

通过vim编译器永久设置,

bash 复制代码
vim ~/.bashrc

在末尾行添加,

arduino 复制代码
export HF_ENDPOINT=https://hf-mirror.com

然后保存退出。输入如下指令让它立即生效,

bash 复制代码
source ~/.bashrc

可通过如下指令查看是否设置成功,

bash 复制代码
env | grep HF_ENDPOINT

输出如图即为成功。

4. 修改PyTorch的默认下载路径

PyTorch预训练模型在线下载后的地址默认是

javascript 复制代码
~/.cache/torch/hub/checkpoints

类似于Huggingface的预训练模型,我们也把这部分模型默认路径修改到数据盘

通过vim编译器永久设置,

bash 复制代码
vim ~/.bashrc

在末尾行添加,

ini 复制代码
export TORCH_HOME="/root/autodl-tmp/torch"  # 替换为你想更改的目标路径

然后保存退出。输入如下指令让它立即生效,

bash 复制代码
source ~/.bashrc

可通过如下指令查看是否设置成功,

bash 复制代码
env | grep TORCH_HOME

如果返回设置的路径,则成功,如图。

5. 修改ModelScope默认下载路径

通过vim编译器永久设置,

bash 复制代码
vim ~/.bashrc

在末尾行添加,

ini 复制代码
export MODELSCOPE_CACHE="/root/autodl-tmp/modelscope"  # 替换为你想更改的目标路径

然后保存退出。输入如下指令让它立即生效,

bash 复制代码
source ~/.bashrc

可通过如下指令查看是否设置成功,

bash 复制代码
env | grep MODELSCOPE_CACHE

如果返回设置的路径,则成功,如图。

相关推荐
Swift社区4 小时前
面试高频图论题『墙与门』:Swift BFS 解法全流程拆解
面试·swift·宽度优先
MyikJ5 小时前
Java面试:从Spring Boot到分布式系统的技术探讨
java·大数据·spring boot·面试·分布式系统
汪子熙6 小时前
Angular i18n 资源加载利器解析: i18n-http-backend
前端·javascript·面试
AQin10126 小时前
外包那些事儿
面试
洛小豆6 小时前
ConcurrentHashMap.size() 为什么“不靠谱”?答案比你想的复杂
java·后端·面试
蒟蒻小袁6 小时前
力扣面试150题--二叉树的右视图
算法·leetcode·面试
神秘敲码人7 小时前
前端面试题-HTML篇
前端·面试·html
L下自成蹊L1 天前
2. 数据结构基本概念 (2)
数据结构·算法·面试·数据结构与算法基础
神秘敲码人1 天前
面试常考--TCP 三次握手与四次挥手
面试·tcp
是乐谷1 天前
把数据库做得能扩展:Aurora DSQL 的故事
数据库·人工智能·python·程序人生·面试·职场和发展