服务器机器学习环境搭建(包括AanConda的安装和Pytorch的安装)

服务器机器学习环境搭建

1 服务器与用户

在学校中,我们在学校中是以用户的身份进行访问学校的服务器的。整体框架大致如下:

我们与root用户共享服务器的一些资源,比如显卡驱动,Cuda以及一些其他的公共软件。

一般情况下,只有root用户,才有权力管理公共资源。比如Cuda的安装,更新等等。

普通用户可以进行使用这些公共资源。

其中公共资源当中,有些资源比如Conda的版本和Python的版本与自己所需要的版本不一致的话,就需要自己重新去安装符合自己版本的Conda和Python版本。

2 申请账号

root管理员账户可以添加用户。创建成功后,可以有自己对应的文件夹,用户在自己对应的文件夹中进行操作。

root添加账号操作的命令: useradd newuser

3 用户连接终端SSH命令

通过SSH可以连接到远程终端,然后就可以在远程服务器上进行对应的操作。

命令:

bash 复制代码
ssh username@服务器ip地址

4 linux安装配置环境

一般来说,现在都是使用Anaconda来进行配置机器学习的实验环境。

4.1安装AnaConda

Anaconda 简介:

Anaconda(官方网站)就是可以便捷获取包且对包能够进行管理,同时对环境可以统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。

因为我们可能不仅仅只是需要跑一个实验,不同实验的对于第三方库要求可能不一样,比如有些需要Pytorch,有些不需要,有些需要Pytorch比较新的版本,有些论文又比较旧,如果只有一个环境的话,就需要卸载重装。而Anaconda可以根据需要配置不同的环境。

4.1.1 下载anaconda的安装包

这里我们需要在官网上查找自己需要的版本,地址链接在下面:

https://repo.anaconda.com/archive/

这里以我自己安装的版本为例:

https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Linux-x86_64.sh

这是我选择的版本,然后我们在控制台输入这句话:

wget https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Linux-x86_64.sh

下载完正常显示为:

如果没有问题,报错,就可以进行下一步4.1.2操作。

4.1.2 安装anaconda的安装包
  1. 设置文件权限:下载完成后,你需要给下载的文件添加可执行权限。你可以使用下面的命令来改变文件权限:
bash 复制代码
   chmod +x Anaconda3-2024.02-1-Linux-x86_64.sh

​ 2.运行安装程序:然后,你可以运行下面的命令启动 Anaconda 的安装程序:

bash 复制代码
   bash Anaconda3-2024.02-1-Linux-x86_64.sh

按照提示进行安装

​ 一般会出现如下图:

​ **3.点击Enter键(回车键)😗*此时显示Anaconda的信息,并且会出现More,一直按Enter,直到如下图所示:

4.输入yes:出现如下界面:

5.输入Enter回车键:出现如下界面:

  1. 建议输入yes: 安装程序会询问是否将anaconda添加到PATH环境变量中。如果要在命令行中使用conda和anaconda,则建议选择此选项。

7. 重新启动shell或者使用bash命令加载配置

在安装 Anaconda 后,它会自动将相关的环境变量添加到 shell 的配置文件中(如 .bashrc.zshrc)。但是,这些环境变量只会在重新打开终端或重新加载 shell 配置后生效。

bash 复制代码
source ~/.bashrc

8.完成安装以及检测是否安装成功

打开新的终端后,进入自己的文件夹目录下,输入anaconda -V(注意a要小写,V要大写),conda -V ,显示版本信息,若显示则表示安装成功。

4.2 Anaconda 安装 Pytorch

4.2.1 创建虚拟环境
bash 复制代码
conda create -n myapp python=3.8
4.2.2 激活环境

使用下面这条命令,激活环境:

bash 复制代码
conda activate myapp
4.2.3 检测环境是否安装好:
bash 复制代码
conda info --envs

显示如下:

4.2.4 选择适合自己的pytorch版本

官方链接:

https://pytorch.org/

通过以下指令查看当前linux服务器cuda版本:

bash 复制代码
nvcc --version

在官网中找到适合自己的版本进行安装:

bash 复制代码
# CUDA 10.1
pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html
4.2.5 测试是否安装成功

输入python,进入到python编辑,输入以下代码进行检测是否安装成功!

python 复制代码
import torch

# 检查PyTorch版本
print("PyTorch版本:", torch.__version__)

# 检查CUDA是否可用
print("CUDA是否可用:", torch.cuda.is_available())

测试结果为:

安装成功!

复制代码
相关推荐
韩楚风1 小时前
【linux 多进程并发】linux进程状态与生命周期各阶段转换,进程状态查看分析,助力高性能优化
linux·服务器·性能优化·架构·gnu
陈苏同学1 小时前
4. 将pycharm本地项目同步到(Linux)服务器上——深度学习·科研实践·从0到1
linux·服务器·ide·人工智能·python·深度学习·pycharm
Pythonliu71 小时前
茴香豆 + Qwen-7B-Chat-Int8
linux·运维·服务器
羊小猪~~2 小时前
深度学习项目----用LSTM模型预测股价(包含LSTM网络简介,代码数据均可下载)
pytorch·python·rnn·深度学习·机器学习·数据分析·lstm
我是哈哈hh2 小时前
专题十_穷举vs暴搜vs深搜vs回溯vs剪枝_二叉树的深度优先搜索_算法专题详细总结
服务器·数据结构·c++·算法·机器学习·深度优先·剪枝
郭二哈2 小时前
C++——模板进阶、继承
java·服务器·c++
挥剑决浮云 -2 小时前
Linux 之 安装软件、GCC编译器、Linux 操作系统基础
linux·服务器·c语言·c++·经验分享·笔记
醒了就刷牙2 小时前
58 深层循环神经网络_by《李沐:动手学深度学习v2》pytorch版
pytorch·rnn·深度学习
立秋67892 小时前
Python的defaultdict详解
服务器·windows·python
Lansonli3 小时前
云原生(四十一) | 阿里云ECS服务器介绍
服务器·阿里云·云原生