LLMs AWS Sagemaker JumpStart

现在您已经探讨了使用LLM构建应用程序的基础知识,我想向您展示一项名为Amazon Sagemaker JumpStart的AWS服务,它可以帮助您快速进入生产并进行大规模操作。

以下是您在先前视频中探讨的应用程序堆栈。正如您所看到的,构建一个LLM驱动的应用程序需要多个组件。

Sagemaker JumpStart是一个模型中心,它允许您快速部署该服务中提供的基础模型,并将它们集成到您自己的应用程序中。JumpStart服务还提供了一种简便的方式来微调和部署模型。

JumpStart涵盖了这个图表的许多部分,包括基础设施、LLM本身、工具和框架,甚至可以调用模型的API。

与您在实验室中使用的模型相比,JumpStart模型需要GPU来进行微调和部署。请记住,这些GPU按需定价,并在选择要使用的计算之前,请参阅Sagemaker定价页面。此外,请确保在不使用时删除Sagemaker模型端点,并遵循成本监控最佳实践以优化成本。

让我向您展示一下JumpStart的简短介绍以及如何从您自己的AWS账户中访问它。您可以从AWS控制台或通过Sagemaker Studio访问Sagemaker JumpStart。在这次简短的介绍中,我将从Sagemaker Studio开始,然后从主屏幕中选择JumpStart。我还可以选择左侧菜单中的JumpStart,然后选择模型、笔记本和解决方案。

点击"JumpStart"后,您将看到不同的类别,包括不同用例的端到端解决方案,

以及多种不同模态的基础模型,您可以轻松部署和微调,如果在微调选项下有"是"的话。让我们看一个您在课程中熟悉的示例,即Flan-T5模型。

您在课程中一直使用的是基础变体,以减少实验室环境所需的资源。但是,如您在这里所见,您还可以根据需要通过JumpStart使用Flan-T5的其他变体。您还会注意到这里有Hugging Face的标志,这意味着它们实际上是直接来自Hugging Face。AWS已与Hugging Face合作,以使您可以仅需几次点击即可部署或微调模型。如果选择Flan-T5 Base,您将看到有几个选项。首先,您可以选择部署模型,通过识别一些关键参数,如实例类型和大小,来部署该模型。这是用于托管模型的实例类型和大小。

提醒一下,这会部署到一个实时的持久端点,价格取决于您在此处选择的托管实例。

其中一些可能相当大,因此请始终记住删除不再使用的任何端点,以避免产生不必要的费用。您还可以指定一些安全设置,以满足您自己的安全要求。然后,您可以选择"部署",这将自动使用您指定的基础设施部署Flan-T5 Base模型到端点。在第二个选项卡中,您将看到培训的选项。因为此模型支持微调,所以您还可以设置微调作业,指定培训和验证数据集的位置,然后选择用于培训的计算的大小。通过此下拉菜单,轻松调整计算的大小,您可以轻松选择要用于培训作业的计算类型。再次请注意,根据用于培训模型所需的时间,您将按照底层计算进行计费,因此我们建议选择适用于您特定任务的最小实例。另一个功能是快速识别和修改此特定模型的可调超参数的能力,通过这些下拉菜单。

如果继续向下滚动到底部,您将看到一个称为PEFT(参数高效微调)的参数类型,您在第6课中了解过它。在这里,您可以通过简单的下拉菜单选择Laura,这使得您更容易实施您所学到的各种技术。

然后,您可以点击"培训"。这将启动一个培训作业,使用为您特定任务提供的输入来微调预训练的Flan-T5模型。最后,这里还有另一个选项,那就是让JumpStart自动生成一个笔记本。

假设您不喜欢使用下拉菜单,更喜欢以编程方式处理这些模型。这个笔记本基本上为您提供了所有在前面介绍的选项中发生的代码。

这是一个选项,如果您喜欢以最低级别以编程方式使用JumpStart。这只是一个JumpStart的快速介绍,以演示您在课程中所学的模型中心的实现。除了作为一个包括基础模型的模型中心,JumpStart还提供了许多关于博客、视频和示例笔记本的资源。我绝对鼓励您通过探索不同的基础模型及其变体来深入了解更多。帮助您快速入门。

Reference

https://www.coursera.org/learn/generative-ai-with-llms/lecture/WVsMi/optional-video-aws-sagemaker-jumpstart

相关推荐
新加坡内哥谈技术34 分钟前
Mistral推出“Le Chat”,对标ChatGPT
人工智能·chatgpt
GOTXX42 分钟前
基于Opencv的图像处理软件
图像处理·人工智能·深度学习·opencv·卷积神经网络
IT古董1 小时前
【人工智能】Python在机器学习与人工智能中的应用
开发语言·人工智能·python·机器学习
糖豆豆今天也要努力鸭2 小时前
torch.__version__的torch版本和conda list的torch版本不一致
linux·pytorch·python·深度学习·conda·torch
机器人虎哥2 小时前
【8210A-TX2】Ubuntu18.04 + ROS_ Melodic + TM-16多线激光 雷达评测
人工智能·机器学习
何大春2 小时前
【弱监督语义分割】Self-supervised Image-specific Prototype Exploration for WSSS 论文阅读
论文阅读·人工智能·python·深度学习·论文笔记·原型模式
nbsaas-boot2 小时前
如何利用ChatGPT加速开发与学习:以BPMN编辑器为例
学习·chatgpt·编辑器
cloud studio AI应用2 小时前
腾讯云 AI 代码助手:产品研发过程的思考和方法论
人工智能·云计算·腾讯云
Suyuoa2 小时前
附录2-pytorch yolov5目标检测
python·深度学习·yolo
余生H3 小时前
transformer.js(三):底层架构及性能优化指南
javascript·深度学习·架构·transformer