vscode连接 服务器进行 深度学习

vscode连接 服务器进行 深度学习

前置工作

MobaXterm 连接服务器

和XShell区别

  • XShell
    • Xshell收费,个人版又有限制(只能打开四个窗口),但是感觉很稳定
    • Xshell 以简洁高效著称,启动速度和连接速度都非常快,特别适合需要频繁操作 SSH 的用户
    • 相较于 MobaXterm,Xshell 的界面设计较为传统,UI 自定义选项较少
  • moba

下载安装

使用技巧

  • 进入终端页面,在这里你就可以使用常用的Linux命令进行操作了,你再也不需要安装一个Ubuntu或者虚拟机去熟悉Linux命令了
  • 汉化版的下载,需要把没有汉化的删除干净
  • 可以创建一个桌面快捷方式,以便在MobaXterm启动时自动启动一个会话或一组会话
  • 多重执行允许你同时显示所有终端,并一次向所有人编写命令
  • MobaXterm 包管理器 (MobApt / apt-get) 允许您直接在 MobaXterm 终端中下载和使用更多 Unix 工具
  • 如果用 SSH 连接远程主机,则左侧就会自动启动 SFTP 连接 ,列出服务器上的文件列表,无需任何配置。可以直接上传下载,更方便的是,还可以让文件列表的当前目录,直接跟随终端当前目录同步切换!
  • 宏录制:选择macro ,然后点击,就会进行录制,然后你在终端的操作就会被录制下来,再点击一下,就会终止,保存到制定文件名。下次使用重复的操作你只需要点击一下宏脚本,就可以了,省去了重复的步骤
  • 在MobaXterm打开状态下,使用快捷键Ctrl+Alt+M可以在底部快速弹出终端,无需点击MobaXterm,此终端为半透明的
  • 选中复制,右键粘贴
    • 默认关闭了,需要设置一下
    • 菜单栏点击 Settings --> Configuration --> Terminal , 然后打勾选中

XFTP 去传送代码/数据

  • 建议从本地上传时,先进行压缩,然后在vscode中询问Copilot命令,最后执行在Mobaxterm进行解压,这样会快一点
    • 远程的终端需要安装解压包,比如unrar 、unzip、tar命令等
  • 现在MobaXterm的sftp不是很方便,所以传送文件还是用了Xftp

下载安装

  • 有免费用户现在都可以通过下载下面的最新版本来访问无限的标签。当前用户必须下载最新版本并在现有安装上进行安装
  • 记得修改 安装的位置,不要是默认的c盘

sftp和scp区别

  • SCP 和 SFTP 都建立在 SSH 协议之上,该协议通过在传输过程中加密数据来保护文件传输。
  • 虽然 SCP 主要在基于 Unix 的系统上受支持,但 SFTP 与更广泛的作系统兼容,包括 Windows、macOS 和 Linux
  • SCP 针对快速、直接的传输进行了优化,非常适合快速、一次性的文件移动,无需额外的管理功能
  • SFTP 提供了更大的灵活性。它支持安全的文件传输和文件管理任务,例如查看、重命名、删除和修改远程服务器上的文件和目录
    • 它还支持恢复中断的传输和压缩文件以节省带宽,使其成为复杂任务的更通用的选择

sftp和ftp区别

  • sftp 与 ftp 有着几乎一样的语法和功能
  • FTP是TCP/IP协议组中的协议之一,TP协议由两个部分组成:
    • FTP服务器(用来存储文件)
    • FTP客户端(用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源)
  • SFTP 为 SSH的其中一部分,是一种传输档案至 Blogger 伺服器的安全方式
  • FTP通过TCP端口21建立控制连接,而SFTP通过SSH协议(TCP端口22)建立安全连接

vscode 插件连接

打开VSCode侧边栏中的扩展,在扩展商店中输入Remote-SSH,安装Remote-SSH

  • 登录指令格式为ssh -p {端口号} {用户}@{主机名}
    • 如登录指令为ssh -p 18435 root@connect.yza1.seetacloud.com,则端口号填写为18435,主机为connect.yza1.seetacloud.com,用户为root / 实验室为你创建的开发机,密码就是密码

守护进程的使用

  • 进行远程执行程序时,那么请注意开守护进程来执行程序,避免因为SSH连接中断导致程序终止,遭受不必要的损失
  • 文章参考这里
    screen进入后台终端之后+pyhton日志重定向式 的启动

重定向命令

screen命令的使用

  • 每一个screen会话都能拥有很多的子窗口,而我们的电脑能同时拥有很多不同的screen会话
  • 用户可以在会话中通过快捷键在不同的窗口下切换,并可以自由的重定向各个窗口的输入和输出
  • 窗口还可以被分区和命名,还可以监视后台窗口的活动
  • Screen可以让一个或多个用户从不同终端多次登录一个会话,并共享会话的所有特性
powershell 复制代码
-A  将所有的视窗都调整为目前终端机的大小。
-d <作业名称>  将指定的screen作业 离线  !!!
-h <行数>  指定视窗的缓冲区行数  
-m  即使目前已在作业中的screen作业,仍强制建立新的screen作业。
-r <作业名称>  恢复离线的screen作业   !!!
-R  先试图恢复离线的作业。若找不到离线的作业,即建立新的screen作业。
-s  指定建立新视窗时,所要执行的shell。
-S <作业名称>  指定screen作业的名称   !!!
-v  显示版本信息。
-x  恢复之前离线的screen作业。
-ls或--list  显示目前所有的screen作业。
-wipe  检查目前所有的screen作业,并删除已经无法使用的screen作业

screen -S mysession #新建screen会话
screen -U
screen  -ls  #查看所建立的所有会话

screen里面无法在终端使用鼠标滚轮进行上下翻页拉动

参考这里哦

nohup和screen命令区别

相关概念的快速 了解

GPU

了解GPU的相关概念以及选型

Linux

  • Linux 的目录结构 以及 常见的Shell命令

  • Linux中提供了三种显示服务器协议。X11和Wayland是其中两个。第三个是Mir

    • Wayland是作为一个免费的开源社区驱动的项目而开发的,目的是用现代,安全和简单的窗口系统代替X Window System(也称为X11或Xorg)
    • Mir 2.9 旨在为基于 Wayland 的 Shell 提供稳定、高性能的平台。
  • 什么是X11-Forwarding

    • Linux 的图形化界面,底层都是基于 X 协议
    • X 协议由 X server 和 X client 组成
    • 在本地显示 (X server)运行在服务器上的 GUI 程序 (X client)。这样的操作可以通过 SSH X11 Forwarding 来实现。X11 中的 X 指的就是 X 协议,11 指的是采用 X 协议的第 11 个版本
    • 有了X11 Forwarding,通过SSH连接并运行Linux上有GUI的程序,就像是在Windows下运行GUI程序一样方便
    • 要实现X11 Forwording,需要具备X Server的SSH客户端,推荐使用MobaXTerm软件,默认就带X Server程序,免费的非常好用
    • X Client部分,要安装一下软件包,要打开SSH的配置文件,将X11Forwarding修改为Yes

管理环境

使用pyenv + pip + venv管理虚拟环境

如果你想下载了Anaconda使用conda管理的话

连接autodl平台实例

Tips

  1. 首先需要 学术认证的,这样花费少一点的
  2. 还有包月/包年一个 实例去,一天的可能刚用完,然后就抢不到后续的机子了
  3. 默认是 开机状态,关机之后选择 无卡模式开机去配置配置完之后再开机

autodl的磁盘目录

AutoDL-VScode联动教程

arc解压缩工具的命令

  • arc 不是 Linux 原生工具,也不是 Linux 系统自带的标准工具(比如 unzip/tar 才是原生的),而是 AutoDL 平台为了简化用户操作定制的扩展工具
    • 但这个工具本质是一个可执行文件,普通 Linux 系统(只要能连接这个地址)一般也能下载使用,不需要依赖 AutoDL 平台的连接
  • AutoDL 封装 arc 的目的是简化解压操作------ 不管是 .zip/.tar.gz/.7z 等格式,都能用 arc decompress 文件名 一键解压,不用记不同格式的解压命令
    • arc 会默认将文件解压到当前终端所在的目录(即 pwd 显示的目录),且解压后的文件结构和压缩包内一致
    • 支持解压格式:.tar, .zip, .rar, .7z,支持压缩/打包格式:.zip,.tar
  • 如果你的普通 Linux 系统无法下载 arc用 Linux 原生的 unzip/tar/7z 等工具也能完成所有解压操作
    • Linux 很少使用.rar的,忘记把!
    • 处理 .zip:unzip(需安装 unzip 包)
    • 处理 .tar.gz/.tar.bz2:tar(系统默认自带)
    • 处理 .7z:7z(需安装 p7zip-full 包)
powershell 复制代码
# 下载 arc 工具到 /usr/bin 目录(系统全局可执行)
curl -L -o /usr/bin/arc http://autodl-public.ks3-cn-beijing.ksyun.com/tool/arc
# 赋予可执行权限
chmod +x /usr/bin/arc
# 验证是否安装成功
arc --help  # 若能输出帮助信息,说明可用
# 压缩/打包
arc compress xxx.zip path/to/directory
# 统一解压
arc decompress 文件名
# 或者解压到指定目录
arc decompress xxx.zip path/to/directory

连接实验室机房

  • 在自己的账号下跑实验,不会和其他人的实验发送资源冲突的,因为不是root用户没有权限更改其他用户的文件
  • 一般都会在服务器下载 Anaconda 的,就像modelScope、autodl 都会内置的!!!
  • 本地开发使用vscode的,但是服务器会下载Anaconda,因为内存大但是内置了包而且可以用来管理虚拟环境
    • jupyter notebook:设置------注意+语言;查看------显示行号

安装版本的选择

autodl已有的

连接教程

相关推荐
未名编程1 小时前
Linux / macOS / Windows 一条命令安装 Node.js + npm(极限一行版大全)
linux·macos·node.js
哈哈浩丶2 小时前
LK(little kernel)-3:LK的启动流程-作为Android的bootloarder
android·linux·服务器
圥忈&&丅佽&&扗虖3 小时前
linux 安装docker和docker-compose
linux·运维·docker
量子-Alex11 小时前
【大模型思维链】RAP中如何通过提示词将LLM改造为世界模型
人工智能·深度学习·机器学习
czxyvX11 小时前
007-Linux进程概念及周边知识
linux
上进小菜猪11 小时前
基于 YOLOv8 的石头剪刀布手势识别系统工程实践 [目标检测完整源码]
深度学习
硅谷秋水11 小时前
多智体机器人系统(MARS)挑战的进展与创新
深度学习·机器学习·计算机视觉·语言模型·机器人·人机交互
Eternity∞12 小时前
Linux系统下,C语言基础
linux·c语言·开发语言
feng68_12 小时前
HAProxy算法实践
linux·运维·haproxy