LLMs AWS Sagemaker JumpStart

现在您已经探讨了使用LLM构建应用程序的基础知识,我想向您展示一项名为Amazon Sagemaker JumpStart的AWS服务,它可以帮助您快速进入生产并进行大规模操作。

以下是您在先前视频中探讨的应用程序堆栈。正如您所看到的,构建一个LLM驱动的应用程序需要多个组件。

Sagemaker JumpStart是一个模型中心,它允许您快速部署该服务中提供的基础模型,并将它们集成到您自己的应用程序中。JumpStart服务还提供了一种简便的方式来微调和部署模型。

JumpStart涵盖了这个图表的许多部分,包括基础设施、LLM本身、工具和框架,甚至可以调用模型的API。

与您在实验室中使用的模型相比,JumpStart模型需要GPU来进行微调和部署。请记住,这些GPU按需定价,并在选择要使用的计算之前,请参阅Sagemaker定价页面。此外,请确保在不使用时删除Sagemaker模型端点,并遵循成本监控最佳实践以优化成本。

让我向您展示一下JumpStart的简短介绍以及如何从您自己的AWS账户中访问它。您可以从AWS控制台或通过Sagemaker Studio访问Sagemaker JumpStart。在这次简短的介绍中,我将从Sagemaker Studio开始,然后从主屏幕中选择JumpStart。我还可以选择左侧菜单中的JumpStart,然后选择模型、笔记本和解决方案。

点击"JumpStart"后,您将看到不同的类别,包括不同用例的端到端解决方案,

以及多种不同模态的基础模型,您可以轻松部署和微调,如果在微调选项下有"是"的话。让我们看一个您在课程中熟悉的示例,即Flan-T5模型。

您在课程中一直使用的是基础变体,以减少实验室环境所需的资源。但是,如您在这里所见,您还可以根据需要通过JumpStart使用Flan-T5的其他变体。您还会注意到这里有Hugging Face的标志,这意味着它们实际上是直接来自Hugging Face。AWS已与Hugging Face合作,以使您可以仅需几次点击即可部署或微调模型。如果选择Flan-T5 Base,您将看到有几个选项。首先,您可以选择部署模型,通过识别一些关键参数,如实例类型和大小,来部署该模型。这是用于托管模型的实例类型和大小。

提醒一下,这会部署到一个实时的持久端点,价格取决于您在此处选择的托管实例。

其中一些可能相当大,因此请始终记住删除不再使用的任何端点,以避免产生不必要的费用。您还可以指定一些安全设置,以满足您自己的安全要求。然后,您可以选择"部署",这将自动使用您指定的基础设施部署Flan-T5 Base模型到端点。在第二个选项卡中,您将看到培训的选项。因为此模型支持微调,所以您还可以设置微调作业,指定培训和验证数据集的位置,然后选择用于培训的计算的大小。通过此下拉菜单,轻松调整计算的大小,您可以轻松选择要用于培训作业的计算类型。再次请注意,根据用于培训模型所需的时间,您将按照底层计算进行计费,因此我们建议选择适用于您特定任务的最小实例。另一个功能是快速识别和修改此特定模型的可调超参数的能力,通过这些下拉菜单。

如果继续向下滚动到底部,您将看到一个称为PEFT(参数高效微调)的参数类型,您在第6课中了解过它。在这里,您可以通过简单的下拉菜单选择Laura,这使得您更容易实施您所学到的各种技术。

然后,您可以点击"培训"。这将启动一个培训作业,使用为您特定任务提供的输入来微调预训练的Flan-T5模型。最后,这里还有另一个选项,那就是让JumpStart自动生成一个笔记本。

假设您不喜欢使用下拉菜单,更喜欢以编程方式处理这些模型。这个笔记本基本上为您提供了所有在前面介绍的选项中发生的代码。

这是一个选项,如果您喜欢以最低级别以编程方式使用JumpStart。这只是一个JumpStart的快速介绍,以演示您在课程中所学的模型中心的实现。除了作为一个包括基础模型的模型中心,JumpStart还提供了许多关于博客、视频和示例笔记本的资源。我绝对鼓励您通过探索不同的基础模型及其变体来深入了解更多。帮助您快速入门。

Reference

https://www.coursera.org/learn/generative-ai-with-llms/lecture/WVsMi/optional-video-aws-sagemaker-jumpstart

相关推荐
海棠AI实验室28 分钟前
AI的进阶之路:从机器学习到深度学习的演变(三)
人工智能·深度学习·机器学习
KubeSphere 云原生40 分钟前
云原生周刊:利用 eBPF 增强 K8s
云计算·k8s·容器平台·kubesphere
AIGC大时代1 小时前
如何使用ChatGPT辅助文献综述,以及如何进行优化?一篇说清楚
人工智能·深度学习·chatgpt·prompt·aigc
古希腊掌管学习的神2 小时前
[搜广推]王树森推荐系统——矩阵补充&最近邻查找
python·算法·机器学习·矩阵
martian6652 小时前
【人工智能数学基础篇】——深入详解多变量微积分:在机器学习模型中优化损失函数时应用
人工智能·机器学习·微积分·数学基础
人机与认知实验室3 小时前
人、机、环境中各有其神经网络系统
人工智能·深度学习·神经网络·机器学习
古希腊掌管学习的神7 小时前
[机器学习]XGBoost(3)——确定树的结构
人工智能·机器学习
靴子学长8 小时前
基于字节大模型的论文翻译(含免费源码)
人工智能·深度学习·nlp
海棠AI实验室9 小时前
AI的进阶之路:从机器学习到深度学习的演变(一)
人工智能·深度学习·机器学习
hunteritself9 小时前
AI Weekly『12月16-22日』:OpenAI公布o3,谷歌发布首个推理模型,GitHub Copilot免费版上线!
人工智能·gpt·chatgpt·github·openai·copilot