详见https://www.jianshu.com/p/a42d69568966
重要内容如下:
1 挂载谷歌云盘
这一步很重要,Colab的运行原理实际上就是给你分配一台远程的带GPU的主机,所以它的原始路径不是你的谷歌云盘(也就是你的代码文件)所在的路径。所以第一步我们先要把谷歌云盘挂载带到那台远程主机上:
python
from google.colab import drive
drive.mount('/content/gdrive')
更改运行目录
python
import os
os.chdir("/content/gdrive/My Drive/Colab Notebooks/Hashing")
2运行方式
使用Jupyter Notebook直接运行
上传文件运行:第二种方式是先上传python文件到你的谷歌云盘,包括数据集。然后使用命令行运行,运行前注意路径设置是否正确
python
! python example.py
方法概述
在 Google Colab 上启动 GPU 环境。
获取 Colab 的远程运行时地址和认证密钥。
在本地 Jupyter Notebook 中配置远程内核。
详细步骤
- 在 Google Colab 启用 GPU
打开 Google Colab。
创建一个新的 Colab Notebook,或者打开现有的 Notebook。
在菜单中选择 "运行时" > "更改运行时类型"。
将 硬件加速器 设置为 GPU,然后点击 保存。 - 启动 Colab 的远程运行时
在 Colab 中运行以下代码以启动远程运行时并获取必要的连接信息:
python
from google.colab import drive
drive.mount('/content/drive')
安装 Jupyter 的 Colab 适配器
!pip install jupyter_http_over_ws
!jupyter serverextension enable --py jupyter_http_over_ws
然后运行以下命令以启动远程运行时:
启动远程 Jupyter 服务
!jupyter notebook --NotebookApp.allow_origin='*' --port=8888 --NotebookApp.port_retries=0
运行此命令后,Colab 会输出一个类似如下的 URL 和 token:
ruby
复制
编辑
http://localhost:8888/?token=\<your_token_here>
将 <your_token_here> 替换为实际的 token,这个 token 是用于认证的关键。
- 配置本地 Jupyter Notebook
在本地安装必要依赖: 确保您本地安装了 Jupyter Notebook。如果未安装,请运行以下命令安装:
bash
复制
编辑
pip install notebook
同时安装远程连接支持:
bash
复制
编辑
pip install jupyter_http_over_ws
jupyter serverextension enable --py jupyter_http_over_ws
设置本地连接到 Colab 的内核: 打开本地 Jupyter Notebook,并运行以下命令将其连接到 Colab:
bash
复制
编辑
jupyter notebook --no-browser --port=8888
将浏览器中的地址栏改为 Colab 提供的地址(即 http://localhost:8888/?token=\<your_token_here>)。
- 验证 GPU 是否可用
在本地 Jupyter Notebook 中,运行以下代码检查是否已连接到 Colab 并启用了 GPU:
python
复制
编辑
import tensorflow as tf
print("GPU is", "available" if tf.config.list_physical_devices('GPU') else "NOT available")
如果输出确认 GPU 可用,则说明配置成功。
注意事项
Colab 连接时间限制:Google Colab 提供免费 GPU,但会有使用时间限制(通常是 12 小时)。连接断开后需要重新执行上述步骤。
网络依赖:此方法需要稳定的网络连接,本地 Jupyter Notebook 和 Colab 必须能实时通信。
安全性:远程运行时的 URL 和 token 具有访问权限,注意不要泄露给他人。
总结
通过设置 Google Colab 的远程运行时 和本地 Jupyter Notebook 的内核配置,您可以在本地 Jupyter Notebook 环境中使用 Google Colab 提供的 GPU 资源进行计算。虽然操作略显复杂,但一旦配置完成,可以方便地在本地开发环境中充分利用 Colab 的强大计算能力。