AutoDL平台transformers环境搭建

AutoDL平台transformers环境搭建

租借GPU可以参考

AutoDL平台租借GPU详解

一、激活base环境

1.进入终端

shell 复制代码
vim  ~/.bashrc

2、然后按英文模式的 i 进入编辑,按键盘下键到最后输入

shell 复制代码
source root/miniconda3/etc/profile.d/conda.sh

3、然后先按键盘Esc键,使用命令 :wq 保存退出

4、输入以下命令刷新

shell 复制代码
bash

5、进入conda环境

shell 复制代码
conda activate base
# 可能会报错'...conda init'
#1、执行:
conda init
#2、执行:
bash
#3、重新激活:
conda activate base

二、创建自己的环境

shell 复制代码
# 1、创建transformers环境
(base) root@autodl-container-adbc11ae52-f2ebff02:~# conda create -n transformers python=3.9 -y



# 2、此时,会有两个环境
(base) root@autodl-container-adbc11ae52-f2ebff02:~# conda info --envs
# conda environments:
#
base                  *  /root/miniconda3
transformers             /root/miniconda3/envs/transformers

# 3、激活创建的环境
(base) root@autodl-container-adbc11ae52-f2ebff02:~# conda activate transformers
(transformers) root@autodl-container-adbc11ae52-f2ebff02:~# 


# 4、安装pytorch

# 4.1 查看机器支持的cuda版本,可以看到最高支持到CUDA Version: 12.0
(transformers) root@autodl-container-adbc11ae52-f2ebff02:~# nvidia-smi 
Sat Oct 14 11:40:39 2023       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.89.02    Driver Version: 525.89.02    CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  On   | 00000000:3D:00.0 Off |                  N/A |
| 30%   32C    P8    19W / 250W |     14MiB / 11264MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
+-----------------------------------------------------------------------------+

# 4.2 设置下载源为清华源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple


# 4.3 进入pytorch官网下载最新版pytorch
# https://pytorch.org/
# 推荐使用pip安装

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
shell 复制代码
# 4.4 测试是否安装成功
(transformers) root@autodl-container-adbc11ae52-f2ebff02:~# python
Python 3.9.18 (main, Sep 11 2023, 13:41:44) 
[GCC 11.2.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch
>>> 
>>> print(torch.__version__)
2.1.0+cu118
>>> print(torch.cuda.is_available())
True
>>> 


# 5、安装transformers相关库
pip install transformers datasets evaluate peft accelerate gradio optimum sentencepiece
pip install scikit-learn pandas matplotlib tensorboard nltk rouge

# 6、验证安装是否成功
>>> from transformers import *
>>> 



# 7、虚拟环境添加到可选的kernel
conda install ipykernel
ipython kernel install --user --name=transformers

此时我们在jupyter上刷新页面,就能看到自己刚装的环境

以后使用的时候,可以选择此环境

相关推荐
bin915312 分钟前
当AI开始‘映射‘用户数据:初级Python开发者的创意‘高阶函数‘如何避免被‘化简‘?—— 老码农的函数式幽默
开发语言·人工智能·python·工具·ai工具
CoovallyAIHub28 分钟前
Mamba-3震撼登场!Transformer最强挑战者再进化,已进入ICLR 2026盲审
深度学习·算法·计算机视觉
万粉变现经纪人1 小时前
如何解决 pip install -r requirements.txt 私有仓库认证失败 401 Unauthorized 问题
开发语言·python·scrapy·flask·beautifulsoup·pandas·pip
JY190641061 小时前
从点云到模型,徕卡RTC360如何搞定铝单板测量?
深度学习
你才是向阳花2 小时前
如何用python来做小游戏
开发语言·python·pygame
'需尽欢'3 小时前
基于 Flask+Vue+MySQL的研学网站
python·mysql·flask
新子y4 小时前
【小白笔记】最大交换 (Maximum Swap)问题
笔记·python
wudl55665 小时前
Flink 1.20 flink-config.yml 配置详解
大数据·flink
华东数交5 小时前
企业与国有数据资产:入表全流程管理及资产化闭环理论解析
大数据·人工智能
程序员爱钓鱼5 小时前
Python编程实战 · 基础入门篇 | Python的缩进与代码块
后端·python