每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/
微软更新开发者工具，发布Phi-3轻量级模型家族和多模态模型Phi-3-vision
微软正在通过一系列更新使生成式人工智能开发者的工作更加轻松。这些更新旨在帮助团队构建更强大、更有知识的AI模型，包括专用的copilots，可以完成更广泛的企业相关任务。在微软Build 2024大会上，微软宣布了对Microsoft Azure AI Search和Azure OpenAI Service的重大增强，并正式推出了去年首发的Azure AI Studio平台。
Azure AI Search和OpenAI Service的新功能
对生成式AI开发者来说，最受欢迎的更新之一是Microsoft Azure AI Search的新搜索相关性功能。这是一个用于检索增强生成（RAG）和企业搜索的数据检索系统，使AI模型能够利用客户的私人数据。在Build大会上，微软宣布该系统现在支持先进的搜索技术，包括混合搜索和重新排序，以及增加的存储容量和新服务的向量索引大小，使用户更容易扩展他们的生成式AI应用。
这些增强功能将有助于为生成式AI模型返回更相关的搜索结果，提高其响应的准确性。此外，还新增了内置的图像向量化功能，以帮助本地图像搜索，以及与OneLake的集成，以帮助将Azure AI Search与Microsoft Fabric中的数据连接起来。
Azure AI Studio的强大新功能
Azure AI Studio于去年11月以预览版推出，为开发者提供了在一个地方创建各种生成式AI体验所需的一切。作为Azure OpenAI Service的一部分，它提供了访问大量语言模型、RAG的数据集成工具、智能搜索功能、全生命周期模型管理和AI安全工具的便利。
现在，Azure AI Studio正式发布，并添加了一些强大的新功能，包括所谓的"代码优先开发体验"。这些功能通过与Azure Developer CLI (azd)和Microsoft Visual Studio Code工具的集成引入。用户将能够通过一个新的模型即服务功能访问最新的基础模型，包括OpenAI的最强大新LLM GPT-4o。
Azure OpenAI Service本身也增加了许多新功能，包括一个新的Assistants API，帮助开发者创建具有更复杂理解和响应能力的高级虚拟助手和聊天机器人。
参考架构和定制生成式AI模型
在AI开发中，微软宣布了一系列参考架构以及实施指南，以帮助客户设计和优化智能、AI驱动的应用。微软表示，开发团队可以简单地利用Azure的模式和实践作为蓝图，快速构建更可靠、成本效益更高且合规的私人聊天机器人。
Azure OpenAI Service的参考架构将很快提供，帮助团队快速启动聊天机器人开发。新的落地加速器旨在标准化和自动化支持这些应用所需的云基础设施部署。此外，开发者还可以使用云指南和服务指南，提供有关设置Azure服务以交付智能应用的更精确说明。
新模型类型"定制生成"
此外，微软宣布了一种名为"定制生成"的新模型类型，即将以预览版推出。客户可以从单个文档开始，然后服务将指导他们完成架构定义和模型创建过程。
主要优势在于无需广泛的数据标记，用户可以用各种格式和模板的更复杂文档来训练他们的生成式AI模型。微软表示，通过使用LLM提取相关数据字段，用户只需在特定字段不正确时纠正模型的输出。通过这种方法，模型可以随着新样本添加到其训练数据集而不断适应，持续提高响应的准确性和相关性。
Phi-3-vision
微软通常利用与OpenAI的密切关系，为开发者提供访问最强大LLM的机会。但它也开发了一些自己的模型，比如支持设备上AI处理的Phi系列较小LLM。Phi-3-vision是这一系列的新成员，目前以预览版提供。
这是一个新的多模态LLM，旨在支持视觉、图表、图形和表格推理。换句话说，它能够理解它所看到的东西，无论是周围的世界、图像还是各种文件。它可以转换输入图像和文本并输出响应，解释它所看到的内容。
例如，用户可以就某个图表或特定图像提问，Phi-3-vision将准确回应。该模型作为Azure AI Studio的模型即服务目录的一部分提供，与Phi-3-small和Phi-3-medium一起。
Azure AI Speech的新功能
Azure AI Speech增加了许多新功能，用于构建更高质量的语音启用应用，目前以预览版提供。
这些功能包括一种新的语音分析能力，自动化从音频和视频数据中提取洞察的端到端工作流程。它集成了转录、总结、语音识别、说话人识别、情感分析等功能。它旨在处理客户反馈、播客、呼叫中心录音、采访等内容。
视频配音也即将推出Azure AI Speech。根据微软的说法，这是一项新的服务，可以将视频文件翻译成多种支持的语言，帮助公司通过其视频内容覆盖全球观众。用户可以通过上传一个或一系列视频来创建配音管道，系统将自动将这些内容翻译成所选语言。
AI安全更新
AI安全始终是一个重大关注点，微软通过更新的Azure AI内容安全产品展示了其重视这一问题的态度。
新增功能包括定制类别，可以用于为生成式AI应用创建定制过滤器，使开发者能够根据公司负责任的AI政策过滤输出。微软表示，这将使用户能够开发更精确和相关的内容安全方法，提供标准和快速部署选项，后者适用于需要在一小时内快速处理的事件。
Prompt Shields（可在Microsoft Azure OpenAI Service中使用）和AI Studio与OpenAI Service中的Groundedness Detection提供了LLM的额外内容过滤工具。微软表示，这些是减轻恶意提示注入攻击的"关键发展"，攻击者试图操纵生成式AI模型，使其产生虚假或不准确的响应。
生成式AI在教育中的应用
最后，微软表示正与非营利教育组织Khan Academy合作，探索生成式AI在教育环境中的潜力。
合作伙伴计划进行一些有趣的事情。例如，微软将为所有美国K-12教育工作者提供免费的Khanmigo for Teachers访问权限，这是一款AI驱动的教学助手，帮助教师腾出时间与学生互动。除了提供免费访问服务外，微软还将提供额外的Azure资源，以确保其能够扩展以支持预期的新用户 influx。
同时，Khan Academy表示，它正在与微软合作，探索如何利用生成式AI改进数学辅导，利用最新版本的Phi-3进行训练，该版本正在使用非营利组织的私人教育内容进行训练。