文章目录
-
- 一、前言
- [二、本次 re:Invent Amazon Bedrock 重大相关更新](#二、本次 re:Invent Amazon Bedrock 重大相关更新)
-
- [2.1 Amazon Bedrock 基础模型的重大更新](#2.1 Amazon Bedrock 基础模型的重大更新)
- [2.2 亚马逊 Bedrock Marketplace 的发布使得可以在 Bedrock 上使用第三方模型。](#2.2 亚马逊 Bedrock Marketplace 的发布使得可以在 Bedrock 上使用第三方模型。)
- [2.3 新的厂商新的大模型加入 Amazon Bedrock 平台](#2.3 新的厂商新的大模型加入 Amazon Bedrock 平台)
- [2.4 Amazon Bedrock 自定义模型与相关优化](#2.4 Amazon Bedrock 自定义模型与相关优化)
- [2.5 Amazon Bedrock 推出 Intelligent Prompt Routing 功能（预览版）](#2.5 Amazon Bedrock 推出 Intelligent Prompt Routing 功能（预览版）)
- 三、文末总结
一、前言
大家好，我是 Bluetata！今天跟大家分享一下在亚马逊云科技 re:Invent 2024 大会上发布的 Amazon Bedrock 最新更新。这个版本带来了很多令人兴奋的新功能，尤其是全新的基础模型系列 Amazon Nova，不仅支持多模态功能，还增加了图像和视频生成工具。再加上 Marketplace 的推出，让我们可以更灵活地选择和部署第三方模型，简直是开发者的福音！接下来，我会详细讲解这些更新的亮点，快来看看吧！
二、本次 re:Invent Amazon Bedrock 重大相关更新
2.1 Amazon Bedrock 基础模型的重大更新
在亚马逊云科技 re:Invent 2024大会中，Amazon Bedrock 发布了新的基础模型系列Amazon Nova 。
作为亚马逊精心打造的基础模型系列，在本次 re:Invent 2024中，让博主印象最深刻的就是 Amazon Nova 的正式发布。
作为一款强大的文本生成模型，Nova系列从最基础的Micro版本到Lite、Pro，再到即将推出的Premier版本，为用户提供了多样化的选择。
其中，Lite及以上版本全面支持多模态功能，包括图像和视频输入，并且支持多语言处理能力。此外，Nova系列还推出了专注于图像生成的Canvas工具和用于视频生成的Reel工具，进一步拓展了应用场景。
展望未来，Nova系列计划发布全新功能：支持语音输入并生成语音输出的Speech-to-Speech技术，以及可将多种模态输入转化为多种模态输出的Any-to-Any技术，为用户带来更丰富、更灵活的创作体验。
2.2 亚马逊 Bedrock Marketplace 的发布使得可以在 Bedrock 上使用第三方模型。
用户可以从 Marketplace 中挑选所需模型，并将其部署到 Amazon Bedrock 平台，作为专属模型供个人使用。
这种部署方式的一大亮点是，模型能够与 Amazon Bedrock Agents、Amazon Bedrock Knowledge Bases 等周边功能无缝集成，进一步拓展了模型的应用场景与功能潜力。
比如下图中，我们直接在模型分类管理中搜索 gemma就可以看到有很多的gemma已经添加到了 Marketplace 中
我们选择具体的一个模型后，可以点击进入详情，看到具体的信息，并且无缝进行depoly操作。
这些模型主要有两种部署方式：
-
通过预配置吞吐量（Provisioned Throughput）部署 Claude 等传统厂商的模型
此方式适用于部署诸如 Claude 等传统厂商的模型，需为预配置的吞吐量支付费用。这种部署方式早已支持，用户现在还可以通过 AWS Marketplace 更方便地完成模型部署。
-
将开源（OSS）基础模型部署为 SageMaker 推理端点
此方式支持从 Hugging Face 等平台获取开源基础模型，并将其部署为 SageMaker 推理端点。通过这一方式，可以更灵活地利用开源模型满足特定业务需求。
2.3 新的厂商新的大模型加入 Amazon Bedrock 平台
Poolside、Luma AI 和 Stability.ai 的最新模型即将加入 Bedrock
- Poolside 的模型
专为工程领域设计，提供代码生成、代码补全和测试生成功能。该基础模型通过强化学习训练，具备持续优化性能的能力，助力开发者高效完成任务。
重点大家关注的是：poolside Assistant
- Luma AI 的模型
聚焦视频生成，为用户提供高质量的视频内容创作能力，满足多样化动态内容的需求。
重点大家关注的是：Luma AI
- Stability.ai 的 SDX 模型
即将推出的最新图像生成模型，将作为 Bedrock 的重要补充，为图像生成提供更强大的支持。
重点大家关注的是：Stable Diffusion3.5
2.4 Amazon Bedrock 自定义模型与相关优化
通过 Amazon Bedrock Model Distillation，现在可以对大型语言模型进行模型蒸馏（Preview）。
这种方法称为知识蒸馏，即使用较大模型的正确数据来训练较小的模型，使其专注于特定用途。
此次，这一功能已在 Bedrock 中以 Model Distillation 的形式实现。
知识蒸馏是一种利用更大规模模型的正确数据来训练较小模型的方法，从而使较小模型针对特定用途进行优化和专注。
此次，Bedrock 将这一功能集成为 Model Distillation，使用户能够高效实现针对性模型优化。
以往，用户可以通过 微调（Fine-tuning） 和 持续预训练（Continued pre-training） 实现模型的自定义优化。
此次新增了 蒸馏（Distillation） 功能，使得用户能够利用更多方法进行模型定制和优化。
2.5 Amazon Bedrock 推出 Intelligent Prompt Routing 功能（预览版）
Amazon re:Invent 2024 Dr. Swami Sivasubramanian 的主题演讲中介绍了 Intelligent Prompt Routing（预览版）
在服务开发中，选择合适的基础模型常常让开发者感到困扰与棘手。对于个人用户，模型选择可能不会带来显著的价格差异，但对于面向大量用户的服务，模型选择将直接影响使用成本。同时，选择规模较小的模型可能难以生成令人满意的回答。
Intelligent Prompt Routing 恰好解决了这一难题：
对于需要生成高质量、复杂回答的请求，路由到性能更强的模型（尽管成本较高）。
对于简单请求，使用更轻量的模型，以降低成本并加快响应速度。
Intelligent Prompt Routing 是一项新功能，通过根据提示词（Prompt）复杂度，将请求动态路由到同一模型家族中的最适合模型。用户可以在优化生成质量的同时，有效控制成本。
该功能利用先进的提示匹配技术，根据每个请求的需求预测模型性能，并自动选择最佳路由方案，提升了模型使用的灵活性和效率。
例如，在 Anthropic 的 Claude 模型家族 中，用户可以根据提示复杂度在 Claude 3.5 Sonnet 和 Claude 3 Haiku 之间路由请求：
- 对于复杂提示，选择性能更强的 Claude 3.5 Sonnet；
- 对于简单提示，选择轻量的 Claude 3 Haiku，节省计算资源和成本。
Intelligent Prompt Routing 可在特定区域预览使用
目前，Intelligent Prompt Routing 功能可在以下区域提供预览访问：
- 美国东部（北弗吉尼亚）
- 美国西部（俄勒冈）
在俄勒冈区域的 Bedrock 控制台中，已在 Foundation Models 部分新增了 Prompt Routers 选项，用于管理和配置提示路由功能。
三、文末总结
Amazon Bedrock 在 2024 年 re:Invent 大会上发布了一系列重要更新，特别是其新的基础模型系列 Amazon Nova，带来了多模态处理和图像、视频生成工具，如 Canvas 和 Reel，极大拓展了应用场景。此外，Bedrock Marketplace 的推出使得用户可以从第三方模型中选择并集成到平台上，进一步提升了灵活性。新加入的 Poolside、Luma AI 和 Stability.ai 等模型丰富了平台的应用范围，支持从工程到视频、图像生成的多样化需求。
Amazon Bedrock 还推出了多项优化功能，如模型蒸馏（Model Distillation）和 Intelligent Prompt Routing。通过蒸馏功能，用户可以将大型语言模型的知识转化为更小、更专注的定制化模型，而智能提示路由则通过根据请求的复杂度自动选择合适的模型，提高了效率并降低了成本。
这些更新展示了 Amazon Bedrock 在推动人工智能应用的广泛创新和优化方面的持续努力，为用户提供了更强大的功能和灵活的操作方式，进一步提升了平台的竞争力。