如何通过jupyter调用服务器端的GPU资源

1. 需求和解决方法概述

**需求:**在本地在网页上编写、调试python代码,而实际python代码是通过远程服务器编译、运行的。这种模式特别适合做试验,不断测试代码的功能等。

(VScode可以远程访问,但vscode不能像jupyter一样,实时显示、更改代码。)

**方案:**要在本地使用 Jupyter Notebook 编写代码并在远程服务器(具有 GPU)上运行代码,可以通过 SSH 隧道将本地的 Jupyter 环境连接到远程服务器。这种方式允许在本地编写代码,而计算和处理在远程服务器上完成。

分4步(具体方法见2)

  1. 在远程服务器上安装 Jupyter Notebook 并启动它,监听所有 IP 地址。

  2. 使用 SSH 隧道连接本地和远程服务器。

  3. 在本地浏览器中通过 `localhost:8888` 访问 Jupyter Notebook。

  4. 确保你的代码可以利用 GPU 运行,并安装必要的库。

2. 具体方法

2.1 在远程服务器上安装 Jupyter Notebook

复制代码
# 更新软件包列表
sudo apt update

# 安装 pip 和 jupyter
sudo apt install python3-pip
pip3 install jupyter

2.2 在远程服务器上启动 Jupyter Notebook

复制代码
# 启动 Jupyter Notebook,监听所有 IP 地址
jupyter notebook --no-browser --port=8888 --ip=0.0.0.0

启动之后,终端中会显示一个带有 token 的 URL,类似如下所示:

http://0.0.0.0:8888/?token=\<your_token>

记住这个 token,它将在连接时使用。

2.3 在本地通过 SSH 隧道连接到远程服务器

在本地机器上,使用 SSH 隧道连接到远程服务器。假设你的远程服务器地址是 `remote_server_ip`,可以运行以下命令:

bash 复制代码
ssh -L 8888:localhost:8888 your_username@remote_server_ip

这条命令将本地机器的 8888 端口映射到远程服务器的 8888 端口。

命令的具体解释见 3

2.4 在本地浏览器中访问 Jupyter Notebook

成功建立 SSH 隧道后,你可以在本地浏览器中打开以下地址来访问远程服务器上的 Jupyter Notebook:

http://localhost:8888

此时,系统会要求输入启动 Jupyter Notebook 时显示的 token。

2.5 配置远程服务器使用 GPU

为了确保你的代码能够在远程服务器的 GPU 上运行,你需要安装和配置适当的 GPU 驱动程序(如 NVIDIA 驱动)和相关的深度学习库(如 TensorFlow 或 PyTorch)。

例如,如果使用 TensorFlow,你可以安装 GPU 版本:

bash 复制代码
pip install tensorflow-gpu

安装完相关依赖后,通过代码在 Jupyter Notebook 中检测 GPU 是否可用:

bash 复制代码
import tensorflow as tf
print("Num GPUs Available: ", len(tf.config.experimental.list_physical_devices('GPU')))

如果安装pytorch,则

import torch

print(torch.cuda.is_available())

3. 解释:SSH 隧道连接到远程服务器

这条命令是使用 `ssh` 命令建立一个本地端口转发(端口隧道)连接,具体解释如下:

bash 复制代码
ssh -L 8888:localhost:8888 your_username@remote_server_ip

- `ssh`: 这是用于通过 SSH(Secure Shell)协议连接到远程服务器的命令。
- `-L 8888:localhost:8888`: 这是本地端口转发选项,具体含义如下:

  • `8888`: 本地计算机的端口号(本地主机上的端口)。

  • `localhost`: 指向远程服务器的主机名。在这个例子中,`localhost` 指的是远程服务器本身,而不是本地机器。
    **- `8888`:**远程服务器上的端口号。该命令表示你将访问远程服务器上的端口 `8888`,并将其转发到你本地的端口 `8888`。

- `your_username@remote_server_ip`: SSH 连接到远程服务器时使用的用户名 @远程服务器的 IP 地址。

整体意思:

这条命令会通过 SSH 将本地机器的 `8888` 端口与远程服务器 `remote_server_ip' 的 `8888` 端口进行连接。任何本地通过 `localhost:8888` 发送的流量会被转发到远程服务器上的 `localhost:8888` 端口(实际上是 `remote_server_ip` 的 8888 端口)。这常用于远程访问一个运行在远程服务器上的服务,例如 Jupyter Notebook、Web 服务器等,通常这些服务绑定在远程服务器的 `localhost` 上。

相关推荐
用户277844910499314 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
JavaEdge在掘金17 小时前
ssl.SSLCertVerificationError报错解决方案
python
我不会编程55517 小时前
Python Cookbook-5.1 对字典排序
开发语言·数据结构·python
老歌老听老掉牙17 小时前
平面旋转与交线投影夹角计算
python·线性代数·平面·sympy
满怀101518 小时前
Python入门(7):模块
python
无名之逆18 小时前
Rust 开发提效神器:lombok-macros 宏库
服务器·开发语言·前端·数据库·后端·python·rust
你觉得20518 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
啊喜拔牙18 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
hyshhhh18 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
Listennnn19 小时前
优雅的理解神经网络中的“分段线性单元”,解剖前向和反向传播
人工智能·深度学习·神经网络