Jupyter Notebook 适合做机器学习开发吗?

现在很多机器学习项目都是在Jupyter notebook中开发、训练、调试和演示的,比如openai、deepmind等,kaggle比赛中的原生环境就是Jupyter notebook,几乎任何机器学习的开发都可以在上面进行。

对于问题中的困扰,想要写py文件,可以在Pycharm、vscode中编写,使用Jupyter中的命令行来执行。但一般来说,算法开发调试阶段主要在Jupyter notebook上,到了产品化阶段才会写大量的py文件。

另外,机器学习算法训练需要GPU支持,快算法运行速度,Jupyter能很好的支持GPU运算。

比如说我常用的的星鸾云GPU云服务器,可以结合Jupyter Lab,用于数据科学、数据可视化,也可以搞定机器学习、深度学习,搭建属于你的AI大模型。

星鸾云GPU云服务器,顾名思义,是一个搭建在云服务器上的GPU算力平台,具备超强的大规模、高并发计算能力,你不需要自己搭GPU服务器,也能用到稳定、高效且高性价比的算力。

https://xl.hzxingzai.cn/register?invitation_code=0006407067

Jupyter Lab是基于Python的web交互式开发环境,你可以在Lab上创建多个notebook,可以理解成是Jupyter notebook的加强升级版。

Jupyter Lab集编程开发、文本编辑器、可视化平台、终端以及各种个性化组件于一体,支持写代码、跑算法、展示可视化等等,几乎无所不包。

一般我们会把Jupyter Lab安装在本地,它运行在各种计算资源上,包括CPU、GPU、TPU等等,但由于本地电脑计算资源有限,只能跑跑一些简单的数据分析、机器学习任务,所以这时候就需要星鸾云GPU云服务器来提供GPU算力。

你能在星鸾云平台上创建使用 JupyterLab,以下是在星鸾云中创建使用Jupyter Lab的步骤:

1. 创建星鸾云实例

首先,在星鸾云平台上创建一个GPU云服务器实例。选择合适的GPU型号和配置,并启动实例。

2. 连接到实例

使用SSH远程连接到星鸾云实例。Windows 用户可以使用 PowerShell 或者 XShell,Mac 用户可以直接使用 Terminal

4. 启动登录 JupyterLab

直接在星鸾云实例中打开Jupyter Lab,接着打开终端,登录实例

5. 使用 JupyterLab

接着在 JupyterLab 中创建新的notebook,编写和运行Python代码,开始享受GPU跑算法带来的快乐吧。

我们使用PyTorch在MNIST数据集上训练一个简单的神经网络,来演示下如何使用星鸾云平台+Jupyter Lab来创建AI模型。

MNIST数据集是一个手写数字识别的经典数据集,我们创建神经网络模型用来识别手写数字。

下面是在Notebook中编写的代码:

导入相关库

复制代码
import torch
import torch.nn as nn
import torch.optim as optim
from https://zhida.zhihu.com/search?content_id=672194711&content_type=Answer&match_order=1&q=torchvision&zhida_source=entity import datasets, transforms

加载和预处理数据

复制代码
transform = https://zhida.zhihu.com/search?content_id=672194711&content_type=Answer&match_order=1&q=transforms.Compose&zhida_source=entity([transforms.ToTensor(),
                                transforms.Normalize((0.5,), (0.5,))])

trainset = datasets.MNIST('~/.pytorch/MNIST_data/', download=True, train=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, https://zhida.zhihu.com/search?content_id=672194711&content_type=Answer&match_order=1&q=shuffle%3DTrue&zhida_source=entity)

定义神经网络结构

复制代码
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 500)
        self.fc2 = nn.Linear(500, 10)

    def forward(self, x):
        x = x.view(-1, 784)
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

net = Net()

定义损失函数和优化器

复制代码
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.01, momentum=0.5)

训练神经网络

复制代码
for epoch in range(10):  # loop over the dataset multiple times
    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        inputs, labels = data
        optimizer.zero_grad()
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        running_loss += loss.item()
    print(f'Epoch {epoch + 1}, Loss: {running_loss / len(trainloader)}')

保存模型

复制代码
PATH = './mnist_net.pth'
torch.save(net.state_dict(), PATH)

就这样,我们使用星鸾云GPU训练了一个神经网络模型,用于识别手写数据,虽然很简单,但也是一个地地道道的AI模型了。

接下来我们再尝试使用星鸾云GPU+Jupyter Lab开发一个AI大模型聊天工具,用于回答公司的业务问题。

首先配置环境,登录星鸾云实例,并安装必要的软件和库。

用于训练聊天机器人的问答数据主要包括:

复制代码
公司FAQs
业务相关文档
公司制度文件
等等

然后对数据进行预处理,在JupyterLab中创建一个新的Notebook,编写代码对数据进行清洗、分词和格式化,准备输入模型训练。

接着,选择一个适合对话系统的预训练模型库,建议使用transformers库,然后在GPU加速下进行模型训练,监控训练过程并调整超参数以获得最佳性能。

以下是在JupyterLab的演示代码:

复制代码
# 导入所需的库
from transformers import Trainer, TrainingArguments

# 定义训练参数
training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    learning_rate=2e-5,
    per_device_train_batch_size=16,
    per_device_eval_batch_size=16,
    num_train_epochs=3,
    weight_decay=0.01,
)

# 定义Trainer对象
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,  # 训练数据集
    eval_dataset=eval_dataset,    # 验证数据集
    tokenizer=tokenizer,
)

# 训练模型
trainer.train()

# 保存模型
model.save_pretrained("./ai-chat-model")
tokenizer.save_pretrained("./ai-chat-model")

模型训练好后,你可以部署为API服务,然后集成到公司的内部业务支持平台,比如内网、企微、钉钉等。

使用星鸾云GPU云服务器和JupyterLab可以很轻松的进行大模型的训练和调试,结合起来非常的强大。

所以说Jupyter notebook或者Lab是机器学习最好的开发工具之一,对初学者也很友好,可以多试试。

相关推荐
SUNxuetian3 小时前
【Android Studio】升级AGP-8.6.1,Find Usage对Method失效的处理方法!
android·ide·gradle·android studio·安卓
巴伦是只猫4 小时前
【机器学习笔记 Ⅲ】4 特征选择
人工智能·笔记·机器学习
Danceful_YJ5 小时前
4.权重衰减(weight decay)
python·深度学习·机器学习
二DUAN帝5 小时前
UE实现路径回放、自动驾驶功能简记
人工智能·websocket·机器学习·ue5·自动驾驶·ue4·cesiumforue
AllData公司负责人6 小时前
实时开发IDE部署指南
大数据·ide·开源
运器12310 小时前
【一起来学AI大模型】支持向量机(SVM):核心算法深度解析
大数据·人工智能·算法·机器学习·支持向量机·ai·ai编程
LIN-JUN-WEI10 小时前
[ESP32]VSCODE+ESP-IDF环境搭建及blink例程尝试(win10 win11均配置成功)
c语言·开发语言·ide·vscode·单片机·学习·编辑器
198912 小时前
【零基础学AI】第30讲:生成对抗网络(GAN)实战 - 手写数字生成
人工智能·python·深度学习·神经网络·机器学习·生成对抗网络·近邻算法
神经星星12 小时前
新加坡国立大学基于多维度EHR数据实现细粒度患者队列建模,住院时间预测准确率提升16.3%
人工智能·深度学习·机器学习
沐尘而生12 小时前
【AI智能体】智能音视频-硬件设备基于 WebSocket 实现语音交互
大数据·人工智能·websocket·机器学习·ai作画·音视频·娱乐