LLMs AWS Sagemaker JumpStart

现在您已经探讨了使用LLM构建应用程序的基础知识,我想向您展示一项名为Amazon Sagemaker JumpStart的AWS服务,它可以帮助您快速进入生产并进行大规模操作。

以下是您在先前视频中探讨的应用程序堆栈。正如您所看到的,构建一个LLM驱动的应用程序需要多个组件。

Sagemaker JumpStart是一个模型中心,它允许您快速部署该服务中提供的基础模型,并将它们集成到您自己的应用程序中。JumpStart服务还提供了一种简便的方式来微调和部署模型。

JumpStart涵盖了这个图表的许多部分,包括基础设施、LLM本身、工具和框架,甚至可以调用模型的API。

与您在实验室中使用的模型相比,JumpStart模型需要GPU来进行微调和部署。请记住,这些GPU按需定价,并在选择要使用的计算之前,请参阅Sagemaker定价页面。此外,请确保在不使用时删除Sagemaker模型端点,并遵循成本监控最佳实践以优化成本。

让我向您展示一下JumpStart的简短介绍以及如何从您自己的AWS账户中访问它。您可以从AWS控制台或通过Sagemaker Studio访问Sagemaker JumpStart。在这次简短的介绍中,我将从Sagemaker Studio开始,然后从主屏幕中选择JumpStart。我还可以选择左侧菜单中的JumpStart,然后选择模型、笔记本和解决方案。

点击"JumpStart"后,您将看到不同的类别,包括不同用例的端到端解决方案,

以及多种不同模态的基础模型,您可以轻松部署和微调,如果在微调选项下有"是"的话。让我们看一个您在课程中熟悉的示例,即Flan-T5模型。

您在课程中一直使用的是基础变体,以减少实验室环境所需的资源。但是,如您在这里所见,您还可以根据需要通过JumpStart使用Flan-T5的其他变体。您还会注意到这里有Hugging Face的标志,这意味着它们实际上是直接来自Hugging Face。AWS已与Hugging Face合作,以使您可以仅需几次点击即可部署或微调模型。如果选择Flan-T5 Base,您将看到有几个选项。首先,您可以选择部署模型,通过识别一些关键参数,如实例类型和大小,来部署该模型。这是用于托管模型的实例类型和大小。

提醒一下,这会部署到一个实时的持久端点,价格取决于您在此处选择的托管实例。

其中一些可能相当大,因此请始终记住删除不再使用的任何端点,以避免产生不必要的费用。您还可以指定一些安全设置,以满足您自己的安全要求。然后,您可以选择"部署",这将自动使用您指定的基础设施部署Flan-T5 Base模型到端点。在第二个选项卡中,您将看到培训的选项。因为此模型支持微调,所以您还可以设置微调作业,指定培训和验证数据集的位置,然后选择用于培训的计算的大小。通过此下拉菜单,轻松调整计算的大小,您可以轻松选择要用于培训作业的计算类型。再次请注意,根据用于培训模型所需的时间,您将按照底层计算进行计费,因此我们建议选择适用于您特定任务的最小实例。另一个功能是快速识别和修改此特定模型的可调超参数的能力,通过这些下拉菜单。

如果继续向下滚动到底部,您将看到一个称为PEFT(参数高效微调)的参数类型,您在第6课中了解过它。在这里,您可以通过简单的下拉菜单选择Laura,这使得您更容易实施您所学到的各种技术。

然后,您可以点击"培训"。这将启动一个培训作业,使用为您特定任务提供的输入来微调预训练的Flan-T5模型。最后,这里还有另一个选项,那就是让JumpStart自动生成一个笔记本。

假设您不喜欢使用下拉菜单,更喜欢以编程方式处理这些模型。这个笔记本基本上为您提供了所有在前面介绍的选项中发生的代码。

这是一个选项,如果您喜欢以最低级别以编程方式使用JumpStart。这只是一个JumpStart的快速介绍,以演示您在课程中所学的模型中心的实现。除了作为一个包括基础模型的模型中心,JumpStart还提供了许多关于博客、视频和示例笔记本的资源。我绝对鼓励您通过探索不同的基础模型及其变体来深入了解更多。帮助您快速入门。

Reference

https://www.coursera.org/learn/generative-ai-with-llms/lecture/WVsMi/optional-video-aws-sagemaker-jumpstart

相关推荐
AAA小肥杨3 分钟前
2025人工智能AI新突破:PINN内嵌物理神经网络火了
人工智能·深度学习·神经网络·ai·大模型部署
王国强200924 分钟前
现代循环神经网络4-双向循环神经网络
深度学习
二川bro41 分钟前
TensorFlow.js 全面解析:在浏览器中构建机器学习应用
javascript·机器学习·tensorflow
闲人编程1 小时前
经典网络复现与迁移学习
pytorch·深度学习·神经网络
dearxue1 小时前
「新」AI Coding(Agent) 的一点总结和看法
机器学习·aigc
goomind1 小时前
深度学习实战车辆目标跟踪与计数
人工智能·深度学习·目标跟踪·pyqt5·bytetrack·deepsort·撞线计数
笑远2 小时前
AWS容器化部署指南
docker·容器·aws
小锋学长生活大爆炸2 小时前
【知识】 LLM中的Scaling Laws是什么?
人工智能·深度学习
黑石云2 小时前
边缘计算的业务种类划分
云计算
月光技术杂谈2 小时前
AI编程: 一个案例对比CPU和GPU在深度学习方面的性能差异
人工智能·深度学习·神经网络·ai编程·intel·trae·集成显卡