今天小李哥给大家介绍的是亚马逊云科技上的AI模型管理平台Amazon Bedrock上的Marketplace，这是亚马逊云科技在今年re:Invent发布的一个全新功能，将亚马逊的电商基因带到了其云计算平台，让我们能够通过Amazon Bedrock访问100多种流行、新兴和专业的AI基础模型，可以说是AI模型的"百科全书"。我们现在可以在Amazon Bedrock中使用、测试和部署来自不同模型供应商（如IBM和Nvidia）的新模型，专业领域模型（如Upstages提供的适用于韩语处理的Solar Pro）以及Evolutionary Scale提供的ESM3蛋白质研究模型。大家在使用这些适用于不同场景的多样化AI模型的同时，不要忘了我们还可以访问Amazon Bedrock上的明星通用基础模型，例如Amazon、Anthropic和Meta提供的大语言模型。
通过Amazon Bedrock Marketplace部署的模型全面采用无服务器架构，可以通过Amazon Bedrock提供的标准API进行访问。Marketplace中可以兼容Converse API的模型，还可以将其与Amazon Bedrock上的其他功能，如Agents、知识库等工具一起集成使用。下图就是Marketplace上的多种模型类型截图。
Amazon Bedrock Marketplace的优势与特色？
随着生成式AI对开发者的项目以及企业业务带来革命性的变革，专门优化特定领域、语言或业务场景的模型需求正在飞速增长。然而精准找到和评估这些模型可能既复杂又昂贵，我们通常需要在不同的网站、模型供应商官网中发现这些模型，在抽象层中构建统一接口以在应用程序中统一集成它们，并创建复杂的安全和合规治理方案。
Amazon Bedrock Marketplace通过提供一个统一的集中平台，同时访问专业场景模型和通用大厂商模型，帮助开发者和企业解决这些应用开发挑战。
如何使用Amazon Bedrock Marketplace？
- 登录亚马逊云科技Amazon Bedrock控制台中，导航到Foundation models页面，选择Model catalog。进入到Model Catalog后大家就可以根据特定的使用场景或希望交互的语言选择想要的模型，搜索选项包括无服务器Serverless模型（无需维护基础设施的模型）和Amazon Bedrock Marketplace上的模型。我们可以按模型厂商、模型的数据处理模态（例如文本、图像、向量化或音频）或任务类型（如分类或文本总结）进行筛选。
- 比如我们想选择IBM Granite模型，首先我们可以搜索来自IBM Data and AI厂商的模型，并选择 模型版本 - Granite 3.0 2B Instruct，该模型主要用于集成企业用户的AI应用。选择该模型后，我们会进入到模型详情页面，可以查看模型供应商IBM为模型提供的官方介绍、定价和使用说明，包括示例API调用代码段。
- Marketplace中的某些模型需要订阅才能使用。我们点击进入订阅页面可以查看模型定价和法律说明，在定价详情中包括了由供应商设定的模型使用价格。对于该模型，除了托管该模型的Amazon SageMaker基础设施成本之外没有模型额外的订阅成本，大家可以Amazon SageMaker定价页面上查看基础设施成本。我们点击 "订阅"（Subscribe）就可以开始使用该模型。
- 在订阅完成后（通常需要几分钟），我们就可以可以开始部署模型到我们的账户内的SageMaker中。我们会跳转到部署的详情页面中，在本案例里我们使用默认设置和官方推荐的实例类型。
- 打开高级设置（Advanced Settings）选项，我们可以选择在本账户的网络环境VPC中部署该模型，并添加用于访问S3存储桶和SNS短信通知服务的的IAM权限。如果我们没有选定现有的IAM权限，Amazon Bedrock Marketplace默认会为我们创建一个IAM权限角色。其他选择默认值后，点击Deploy进行部署。
**6.**部署完成后，我们Marketplace模型部署页面中的模型状态将显示为"In Service"运行中，大家可以在部署页面中查看并编辑模型配置，可以执行的操作包括调整计算实例数量等。为了测试我们刚才的部署，我在模型交互对话框中打开模型，并输入提示词让模型生成一首诗歌。
在 Amazon Bedrock 中使用已部署的模型
- 在模型交互对话框的页面中，我们可以在Marketplace类别下的Model Endpoints中,加载访问已部署的模型端点。我们还可以在Amazon Bedrock Agents、Amazon Bedrock 知识库、Amazon Bedrock提示词管理功能、Amazon Bedrock安全防护栏（Guardrails）等多种Bedrock AI功能中集成我们从Marketplace中部署的模型端点。
- 比如小李哥从Marketplace中部署了一个用于图像生成的Stability AI Stable Diffusion 3.5 Large模型后，就可以在Amazon Bedrock模型交互图像生成页面中快速测试其图像生成能力。
如何通过AWS CLI和AWS SDK调用已部署的模型
对于已部署的模型，我们可直接通过亚马逊云科技，支持多种开发语言的SDK提供的Amazon Bedrock InvokeModel API进行访问。我们还可以使用亚马逊云科技命令行界面（AWS CLI），将模型端点的ARN资源名称作为我们要调用的模型ID，就可以调用模型生成回复了。对于应用于聊天场景的文生文模型，我们还可以使用Amazon Bedrock提供的统一标准API - Converse API进行内容生成，该API对模型差异进行了抽象处理，消除了模型的差异化，通过简单的参数改变就可以自由进行模型切换。
其他注意事项
Amazon Bedrock Marketplace目前在以下亚马逊区域可用：美国东部（弗吉尼亚北部、俄亥俄）美国西部（俄勒冈）、亚太地区（孟买、首尔、新加坡、悉尼、东京）、加拿大（中部）、欧洲（法兰克福、爱尔兰、伦敦、巴黎）、南美（圣保罗）。
另外在Amazon Bedrock Marketplace中，我们调用模型的收费，是向第三方模型提供商支付的，类型为软件订阅费用（某些模型订阅是免费的），总的费用还包括我们选择的计算实例类型和数量所产生的模型托管费用。