概述
不久前，Gemini团队在Google AI Studio中推出了先进的Gemini 1.5 Pro模型，邀请开发者们进行体验和测试。社区成员利用Gemini模型的100万个上下文窗口进行的调试、创新和学习成果，令我们感到惊喜不已。
4月9号，Gemini团队骄傲地宣布，Gemini 1.5 Pro模型的公开预览版将在180多个国家/地区推出。这是我们首次提供原生音频（语音）理解功能和全新的文件API，以便开发者更加便捷地处理文件。此外，我们还引入了系统说明和JSON模式等创新功能，赋予开发者更精细的模型输出控制能力。最终，我们还将发布性能卓越的下一代文本嵌入模型，其性能将超越市场上的其他模型。
请前往Google AI Studio获取或管理您的API密钥，并开始使用Gemini API Cookbook，探索和构建下一代的智能应用。
应用
利用音频和视频模式开启新的应用案例
Gemini团队正在不断推进Gemini 1.5 Pro模型的功能升级，他们正在积极扩展其输入模式，以便更好地整合Gemini API以及Google AI Studio中的音频（语音）理解功能。这一改进将极大地丰富模型的输入类型，提高其在多样化场景下的适应性和应用范围。
此外，针对在Google AI Studio中上传的视频内容，Gemini 1.5 Pro现在具备了对图像（帧）和音频（语音）数据进行综合推理的能力。这意味着模型能够从视频资料中提取和理解更加丰富和复杂的信息，为用户提供更加精准和深入的分析结果。
改进
-
**系统指令特性：**为了精准引导模型的响应，Gemini团队引入了系统指令这一强大的功能。目前，这一特性已在Google AI Studio和Gemini API中得到实现。通过精心定义角色、格式、目标和规则，系统指令能够为各种特定用例量身定制模型的行为模式。这样的设计不仅增强了模型的适应性，也确保了其输出结果能够更好地满足用户的个性化需求。
-
**JSON模式功能：**为了更有效地管理和利用模型输出的数据，Gemini团队引入了JSON模式功能。此功能指导模型仅输出JSON对象格式的响应，使得从文本或图像中提取的结构化数据更加规范化、易于处理。目前，用户可以通过cURL命令开始体验这一功能，而Python SDK的对应支持也即将面世，为开发者提供更多编程便利。
-
**优化的函数调用机制：**Gemini 1.5 Pro模型现在提供了更为灵活的输出控制选项，允许用户根据需要选择性地限制模型的输出模式。这一改进不仅提升了模型输出的可靠性，也为用户提供了文本、函数调用或函数本身等多种输出形式的自由选择。这样的设计使得Gemini 1.5 Pro模型能够更好地适应各种复杂的应用场景，满足不同用户的具体需求。
新模型
Gemini团队开发人员现在可以通过Gemini API接入我们最新研发的高性能文本嵌入模型。这款名为text-embedding-004的模型（在Vertex AI中称为text-embedding-preview-0409）在MTEB基准测试中展现了卓越的检索性能，其表现超越了市场上同类可比维度的现有模型。
参考：