google colab使用

详见https://www.jianshu.com/p/a42d69568966

重要内容如下:

1 挂载谷歌云盘

这一步很重要,Colab的运行原理实际上就是给你分配一台远程的带GPU的主机,所以它的原始路径不是你的谷歌云盘(也就是你的代码文件)所在的路径。所以第一步我们先要把谷歌云盘挂载带到那台远程主机上:

python 复制代码
from google.colab import drive
drive.mount('/content/gdrive')

更改运行目录

python 复制代码
import os
os.chdir("/content/gdrive/My Drive/Colab Notebooks/Hashing")

2运行方式

使用Jupyter Notebook直接运行

上传文件运行:第二种方式是先上传python文件到你的谷歌云盘,包括数据集。然后使用命令行运行,运行前注意路径设置是否正确

python 复制代码
! python example.py

方法概述

在 Google Colab 上启动 GPU 环境。

获取 Colab 的远程运行时地址和认证密钥。

在本地 Jupyter Notebook 中配置远程内核。

详细步骤

  1. 在 Google Colab 启用 GPU
    打开 Google Colab。
    创建一个新的 Colab Notebook,或者打开现有的 Notebook。
    在菜单中选择 "运行时" > "更改运行时类型"。
    将 硬件加速器 设置为 GPU,然后点击 保存。
  2. 启动 Colab 的远程运行时
    在 Colab 中运行以下代码以启动远程运行时并获取必要的连接信息:
python 复制代码
from google.colab import drive
drive.mount('/content/drive')

安装 Jupyter 的 Colab 适配器

!pip install jupyter_http_over_ws

!jupyter serverextension enable --py jupyter_http_over_ws

然后运行以下命令以启动远程运行时:

启动远程 Jupyter 服务

!jupyter notebook --NotebookApp.allow_origin='*' --port=8888 --NotebookApp.port_retries=0

运行此命令后,Colab 会输出一个类似如下的 URL 和 token:

ruby

复制

编辑

http://localhost:8888/?token=\<your_token_here>

将 <your_token_here> 替换为实际的 token,这个 token 是用于认证的关键。

  1. 配置本地 Jupyter Notebook
    在本地安装必要依赖: 确保您本地安装了 Jupyter Notebook。如果未安装,请运行以下命令安装:

bash

复制

编辑

pip install notebook

同时安装远程连接支持:

bash

复制

编辑

pip install jupyter_http_over_ws

jupyter serverextension enable --py jupyter_http_over_ws

设置本地连接到 Colab 的内核: 打开本地 Jupyter Notebook,并运行以下命令将其连接到 Colab:

bash

复制

编辑

jupyter notebook --no-browser --port=8888

将浏览器中的地址栏改为 Colab 提供的地址(即 http://localhost:8888/?token=\<your_token_here>)。

  1. 验证 GPU 是否可用
    在本地 Jupyter Notebook 中,运行以下代码检查是否已连接到 Colab 并启用了 GPU:

python

复制

编辑

import tensorflow as tf

print("GPU is", "available" if tf.config.list_physical_devices('GPU') else "NOT available")

如果输出确认 GPU 可用,则说明配置成功。

注意事项

Colab 连接时间限制:Google Colab 提供免费 GPU,但会有使用时间限制(通常是 12 小时)。连接断开后需要重新执行上述步骤。

网络依赖:此方法需要稳定的网络连接,本地 Jupyter Notebook 和 Colab 必须能实时通信。

安全性:远程运行时的 URL 和 token 具有访问权限,注意不要泄露给他人。

总结

通过设置 Google Colab 的远程运行时 和本地 Jupyter Notebook 的内核配置,您可以在本地 Jupyter Notebook 环境中使用 Google Colab 提供的 GPU 资源进行计算。虽然操作略显复杂,但一旦配置完成,可以方便地在本地开发环境中充分利用 Colab 的强大计算能力。

相关推荐
GEO索引未来10 天前
为什么做GEO需要一套好的数据系统?
大数据·人工智能·ai·chatgpt·googlecloud
Smoothcloud润云2 个月前
Google DeepMind 学习系列笔记(3):Design And Train Neural Networks
数据库·人工智能·笔记·深度学习·学习·数据分析·googlecloud
OoxJqfQCaS2 个月前
语音信号降噪之旅:MATLAB实战
googlecloud
开开心心_Every3 个月前
发票批量打印工具支持双面预览页面方向设置
游戏·微信·pdf·华为云·excel·语音识别·googlecloud
getapi3 个月前
在 Google Play 上更新你已上架的 Flutter 应用
flutter·googlecloud·web app
Dr.Alex Wang3 个月前
Google Compute Engine安全实践:元数据服务配置风险分析与警示
服务器·python·安全·googlecloud
Dr.Alex Wang4 个月前
Google Firebase 实战教学 - Streamlit、Bucket、Firebase
数据库·python·安全·googlecloud
Ydwlcloud4 个月前
Gemini API 与 Vertex AI:Google Cloud 如何统一AI开发与部署的格局
大数据·服务器·人工智能·云计算·googlecloud
nvd114 个月前
创建自己的云开发环境-GCP Cloud Workstations 配置指南
google·googlecloud