google colab使用

详见https://www.jianshu.com/p/a42d69568966

重要内容如下:

1 挂载谷歌云盘

这一步很重要,Colab的运行原理实际上就是给你分配一台远程的带GPU的主机,所以它的原始路径不是你的谷歌云盘(也就是你的代码文件)所在的路径。所以第一步我们先要把谷歌云盘挂载带到那台远程主机上:

python 复制代码
from google.colab import drive
drive.mount('/content/gdrive')

更改运行目录

python 复制代码
import os
os.chdir("/content/gdrive/My Drive/Colab Notebooks/Hashing")

2运行方式

使用Jupyter Notebook直接运行

上传文件运行:第二种方式是先上传python文件到你的谷歌云盘,包括数据集。然后使用命令行运行,运行前注意路径设置是否正确

python 复制代码
! python example.py

方法概述

在 Google Colab 上启动 GPU 环境。

获取 Colab 的远程运行时地址和认证密钥。

在本地 Jupyter Notebook 中配置远程内核。

详细步骤

  1. 在 Google Colab 启用 GPU
    打开 Google Colab。
    创建一个新的 Colab Notebook,或者打开现有的 Notebook。
    在菜单中选择 "运行时" > "更改运行时类型"。
    将 硬件加速器 设置为 GPU,然后点击 保存。
  2. 启动 Colab 的远程运行时
    在 Colab 中运行以下代码以启动远程运行时并获取必要的连接信息:
python 复制代码
from google.colab import drive
drive.mount('/content/drive')

安装 Jupyter 的 Colab 适配器

!pip install jupyter_http_over_ws

!jupyter serverextension enable --py jupyter_http_over_ws

然后运行以下命令以启动远程运行时:

启动远程 Jupyter 服务

!jupyter notebook --NotebookApp.allow_origin='*' --port=8888 --NotebookApp.port_retries=0

运行此命令后,Colab 会输出一个类似如下的 URL 和 token:

ruby

复制

编辑

http://localhost:8888/?token=\<your_token_here>

将 <your_token_here> 替换为实际的 token,这个 token 是用于认证的关键。

  1. 配置本地 Jupyter Notebook
    在本地安装必要依赖: 确保您本地安装了 Jupyter Notebook。如果未安装,请运行以下命令安装:

bash

复制

编辑

pip install notebook

同时安装远程连接支持:

bash

复制

编辑

pip install jupyter_http_over_ws

jupyter serverextension enable --py jupyter_http_over_ws

设置本地连接到 Colab 的内核: 打开本地 Jupyter Notebook,并运行以下命令将其连接到 Colab:

bash

复制

编辑

jupyter notebook --no-browser --port=8888

将浏览器中的地址栏改为 Colab 提供的地址(即 http://localhost:8888/?token=\<your_token_here>)。

  1. 验证 GPU 是否可用
    在本地 Jupyter Notebook 中,运行以下代码检查是否已连接到 Colab 并启用了 GPU:

python

复制

编辑

import tensorflow as tf

print("GPU is", "available" if tf.config.list_physical_devices('GPU') else "NOT available")

如果输出确认 GPU 可用,则说明配置成功。

注意事项

Colab 连接时间限制:Google Colab 提供免费 GPU,但会有使用时间限制(通常是 12 小时)。连接断开后需要重新执行上述步骤。

网络依赖:此方法需要稳定的网络连接,本地 Jupyter Notebook 和 Colab 必须能实时通信。

安全性:远程运行时的 URL 和 token 具有访问权限,注意不要泄露给他人。

总结

通过设置 Google Colab 的远程运行时 和本地 Jupyter Notebook 的内核配置,您可以在本地 Jupyter Notebook 环境中使用 Google Colab 提供的 GPU 资源进行计算。虽然操作略显复杂,但一旦配置完成,可以方便地在本地开发环境中充分利用 Colab 的强大计算能力。

相关推荐
OoxJqfQCaS13 天前
语音信号降噪之旅:MATLAB实战
googlecloud
开开心心_Every21 天前
发票批量打印工具支持双面预览页面方向设置
游戏·微信·pdf·华为云·excel·语音识别·googlecloud
getapi1 个月前
在 Google Play 上更新你已上架的 Flutter 应用
flutter·googlecloud·web app
Dr.Alex Wang1 个月前
Google Compute Engine安全实践:元数据服务配置风险分析与警示
服务器·python·安全·googlecloud
Dr.Alex Wang1 个月前
Google Firebase 实战教学 - Streamlit、Bucket、Firebase
数据库·python·安全·googlecloud
Ydwlcloud2 个月前
Gemini API 与 Vertex AI:Google Cloud 如何统一AI开发与部署的格局
大数据·服务器·人工智能·云计算·googlecloud
nvd112 个月前
创建自己的云开发环境-GCP Cloud Workstations 配置指南
google·googlecloud
Imkc2 个月前
Proxfier 通过antigravity验证并使用
ai编程·googlecloud
nvd112 个月前
Auth0 /userinfo 速率限制问题解决方案
googlecloud·authing