使用服务器训练模型的注意事项

一、图像展示

1.1、用VS Code远程连接服务器时,当我们想用matplotlib库来进行图像展示的时候,需要设置DISPLAY变量。

复制代码
# 用终端工具(XShell)SSH远程服务器,在终端上输入下列语句
# 如果使用了anaconda的虚拟环境,那么需要先进行入虚拟环境中

echo $DISPLAY

# 输出例子如下:
localhost:10.0

# 然后到VS Code的终端里面,注意也是要在虚拟环境中,输入下列语句
export DISPLAY="localhost:10.0"

二、训练模型

2.1、用服务器训练模型时,效果比windows差很多,甚至无法收敛

原因:服务器一般是Linux系统,那么在训练过程中,读取数据集的时候就需要注意:Linux读取文件是乱序的,所以需要加上"sorted"函数,先排序,再遍历数据集。

2.2、模型训练日志保存路径

需要用os库中的一个函数来定义编译器工作路径,设置好了后就可以之间使用"./"来保存文件和读取数据了

复制代码
import os

os.chdir('/home/....../Projects')

2.3、指定GPU训练模型

服务器一般有多卡,那么如果想要指定GPU来训练我们的模型,我们需要设置一个变量,后续的程序中直接使用.cuda()就可以了。

复制代码
import os

os.environ['CUDA_VISIBLE_DEVICES'] = 'gpu_id_0, gpu_id_1'

三、Tensorboard使用

3.1、用服务器训练模型时,tensorboard无法启动

原因:第一次使用一般都是可以打开的,但一旦在vs code里面关闭它时,其实是没有完全关闭的,所以需要在终端中输入以下指令:

复制代码
kill -9 $(ps -ef|grep tensorboard|grep -v grep|awk '{print $2}')

3.2、用服务器训练模型时,tensorboard一直展示上一个项目的训练日志

原因:Tensorboard一直展示前一个项目的数据-CSDN博客

相关推荐
狄加山67520 分钟前
Cadence模块复用
服务器·硬件架构·硬件工程·信号处理·智能硬件
宇钶宇夕33 分钟前
SIMATIC S7-1200的以太网通信能力:协议与资源详细解析
运维·服务器·数据库·程序人生·自动化
该用户已不存在35 分钟前
关于我把Mac Mini托管到机房,后续来了,还有更多玩法
服务器·前端·mac
杰夫贾维斯41 分钟前
CentOS Linux 8 的系统部署 Qwen2.5-7B -Instruct-AWQ
linux·运维·人工智能·机器学习·centos
%d%d21 小时前
python 在运行时没有加载修改后的版本
java·服务器·python
CodeWithMe2 小时前
【Note】Linux Kernel 实时技术深入:详解 PREEMPT_RT 与 Xenomai
linux·运维·服务器
hrrrrb2 小时前
【TCP/IP】11. IP 组播
服务器·网络·tcp/ip
muyun28002 小时前
安全访问云端内部应用:用frp的stcp功能解决SSH转发的痛点
运维·安全·ssh·frp
AI迅剑2 小时前
模块三:现代C++工程实践(4篇)第三篇《C++与系统编程:Linux内核模块开发入门》
linux·运维·服务器
A-刘晨阳2 小时前
语音转文字「本地化」新解!Whisper Web+cpolar实现零服务器部署与远程操作
服务器·前端·whisper