使用colab完成机器学习记录

步骤 1:打开电脑浏览器,登录并创建你的"笔记本"

打开 Colab:在地址栏输入 colab.research.google.com 并回车。

新建笔记本:点击页面上的"新建笔记本"按钮。

⚙️ 步骤 2:为项目开启"涡轮增压"(设置 GPU)

进入设置:点击顶部菜单栏的 运行时 -> 更改运行时类型。

选择 GPU:在"硬件加速器"下拉菜单中选择 GPU,然后点击"保存"。

验证生效:用快捷键 Shift + Enter 运行下面这个代码单元,如果最后一行输出 True,就说明成功啦。🎉

python

import torch

print(torch.cuda.is_available())

💡 小提示:如果你使用的是简体中文界面,菜单会是"代码执行程序"->"更改运行时类型"。

📁 步骤 3:把本地代码和数据"搬"到云端

Colab 的服务器是临时环境,所以需要手动把文件传上去。

在笔记本里操作:在新建的代码单元里运行下面这段代码,它会自动弹出一个窗口让你选择本地的文件。

python

from google.colab import files

先上传到谷歌云端硬盘

把谷歌硬件云端的导入到colab这边

运行后会弹出窗口让你选文件

uploaded = files.upload()

文件上传后,会保存在 /content/ 目录下。

通过云盘同步:如果你在 Google Drive 里已经把文件整理好了,那直接在笔记本里挂载,能省不少事。

运行下面的代码,点击弹出的链接授权,并把授权码粘贴到出现的输入框里:

python

from google.colab import drive

drive.mount('/content/drive')

挂载成功后,你 Drive 里的所有文件就在 /content/drive/MyDrive/ 这个目录下了。

直接从网上下载:如果数据集有个直接的下载链接(URL),用 !wget 命令下载是最快的方法。

bash

记得把下面的下载链接换成你真正的

!wget -O dataset.zip "YOUR_DATASET_DOWNLOAD_URL"

⚙️ 步骤 4:在"实验室"里跑起训练

输入项目代码:把之前准备好的 GAN 代码,直接复制或写入到 Colab 的代码单元里。

一键开跑:点击代码单元左边的"播放"按钮,或者用快捷键 Shift + Enter 来执行。

无缝衔接:可以利用 GitHub 快速导入项目。Colab 支持直接从 GitHub 打开 .ipynb 文件(比如李宏毅老师课程的代码文件),省去上传的步骤。

👀 步骤 5:如何监控训练进展

直接打印:在训练循环里用 print(f'Epoch: {epoch}, Loss: {loss}') 直接看。

实时绘图:在同一个代码单元里,用 Matplotlib 实时绘制损失曲线也是个办法。

python

import matplotlib.pyplot as plt

在训练循环里...

loss_D_list.append(loss_D.item()) # 记录判别器损失

loss_G_list.append(loss_G.item()) # 记录生成器损失

每个 epoch 结束后画个图

plt.figure(figsize=(10,5))

plt.title("Generator and Discriminator Loss During Training")

plt.plot(loss_G_list, label="Generator")

plt.plot(loss_D_list, label="Discriminator")

plt.xlabel("iterations")

plt.ylabel("Loss")

plt.legend()

plt.show()

专业工具:还可以使用 torch.utils.tensorboard 来记录日志,然后在 Colab 里用 %load_ext tensorboard 和 %tensorboard --logdir logs/ 命令启动 TensorBoard 面板。这种方式的信息更全。

💾 步骤 6:保存模型与防中断技巧

防止断连:在浏览器中按 F12 打开"开发者工具",切换到"控制台"粘贴下面这段代码并回车。这会让页面每隔 55 秒模拟一次点击,避免因空闲超时而断连。

javascript

function ClickConnect(){

console.log("保持连接中...");

document.querySelector("colab-connect-button").click()

}

setInterval(ClickConnect, 55000)

不过请留意,这个脚本只能防止"空闲断开",无法绕过 Colab 12 小时的强制断开会话限制。

保存模型到云盘:挂载 Drive 后,可以直接把训练好的模型(.pth)存进去。

python

假设你的模型叫 G

torch.save(G.state_dict(), '/content/drive/MyDrive/my_gan_generator.pth')

下载到本地:模型较小的话,也可以直接用下面的代码下载到本地:

python

from google.colab import files

files.download('/content/my_gan_generator.pth')

📝 一个小结

简单来说,流程就是:

登录 Colab -> 新建笔记本 -> 启用 GPU -> 用代码单元写/传代码 -> 挂载 Drive 读数据 -> 运行训练(print/plot监控) -> 把模型存回 Drive 或下载到本地。

相关推荐
小和尚同志10 小时前
AI 自动化测试探索(二):Chrome-devtools MCP
人工智能·e2e·aigc
冬奇Lab12 小时前
Workflow 系列(02):设计范式——四层架构、三种 Context 传递模式与确认门设计
人工智能·agent·工作流引擎
冬奇Lab13 小时前
每日一个开源项目(第145篇):Trellis - 把项目记忆、规范和任务上下文持久化进代码仓库
人工智能·开源·资讯
有道AI情报局13 小时前
Harness即产品
人工智能·agent
罗西的思考14 小时前
机器人 / 强化学习】HIL-SERL:人类在环驱动的具身智能进化框架
人工智能·算法·机器学习
IT_陈寒15 小时前
SpringBoot自动配置的坑,我的API突然就404了
前端·人工智能·后端
笃行35015 小时前
从零到上线:用 EdgeOne Makers + CodeBuddy 搭一个「对账核对员」AI Agent
人工智能
用户68563262086916 小时前
Claude Code 乱猜字段名?我给它写了一个"数据库查询约束 Skill"
人工智能
你_好16 小时前
# 给你的产品嵌入一个「会操作界面的 AI 助手」
人工智能
ShallWeL16 小时前
【机器学习】(3)—— 线性回归:梯度下降
人工智能·机器学习