Azure 机器学习:在 Azure 机器学习中使用 Azure OpenAI 模型

目录

在本文中,你将了解如何使用 Azure 机器学习发现、微调和大规模部署 Azure OpenAI 模型。
关注TechLead,分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕,复旦机器人智能实验室成员,阿里云认证的资深架构师,项目管理专业人士,上亿营收AI产品研发负责人。

一、环境准备

二、Azure 机器学习中的 OpenAI 模型是什么?

近年来,人工智能的进步导致了大型基础模型(基于大量数据进行训练)的兴起。 这些模型可以轻松适应各行各业的多种应用程序。 这一新兴趋势为企业在深度学习工作负载中构建和使用这些基础模型提供了独特的机会。

机器学习中的 OpenAI 模型提供机器学习原生功能,使客户可以通过以下方式大规模生成和使用 Azure OpenAI 模型:

  • 在机器学习中访问机器学习模型目录中提供的 Azure OpenAI
  • 与 Azure OpenAI 建立连接。
  • 使用机器学习微调 Azure OpenAI 模型。
  • 使用机器学习将 Azure OpenAI 模型部署到 Azure OpenAI。

三、在机器学习中访问 Azure OpenAI 模型

Azure 机器学习工作室中的模型目录(预览)是浏览各种基础模型集合的起点。 Azure OpenAI 模型集合包含仅在 Azure 上提供的模型。 使用这些模型,客户将能够访问适用于 Azure OpenAI 中提供的大型语言模型的即时工程、微调、评估和部署功能。 可以在 Azure OpenAI 服务 集合下的模型目录中查看受支持的 Azure OpenAI 模型的完整列表。

可以按推理任务或微调任务筛选模型目录中的模型列表。 选择特定的模型名称后,将会显示所选模型的模型卡,其中列出了有关该模型的详细信息。

连接到 Azure OpenAI

若要部署 Azure OpenAI 模型,需要具有 Azure OpenAI 资源。 若要创建 Azure OpenAI 资源,请按照创建和部署 Azure OpenAI 服务资源中的说明进行操作。

部署 Azure OpenAI 模型

若要从机器学习部署 Azure OpenAI 模型,请执行以下操作:

  1. 在左窗格中选择"模型目录"。

  2. Azure OpenAI 语言模型下选择"查看模型"。 然后选择要部署的模型。

  3. 选择"部署",将模型部署到 Azure OpenAI。

  1. 从选项中选择"Azure OpenAI 资源"。

  2. 在"部署名称 "中输入部署名称,然后选择"部署"。

  3. 若要查找部署到 Azure OpenAI 的模型,请转到工作区中的"终结点"部分。

  4. 选择"Azure OpenAI"选项卡,并查找创建的部署。 在选择部署时,系统会将你重定向到已链接到部署的 OpenAI 资源。

四、使用自己的训练数据微调 Azure OpenAI 模型

若要提高工作负载中的模型性能,可能需要使用自己的训练数据微调模型。 通过使用工作室中的微调设置或使用本教程中基于代码的示例,可以轻松微调这些模型。

使用工作室微调

若要调用微调 设置窗体,请在任何基础模型的模型卡上选择微调

微调设置

训练数据
  1. 传入要用于微调模型的训练数据。 可以选择上传 JSON 行 (JSONL) 格式的本地文件。 也可以从工作区中选择现有的已注册数据集。

    • 具有完成任务类型的模型:使用的训练和验证数据必须采用 JSON 文档格式,其中每一行代表一个提示-完成对。
  • 具有聊天任务类型的模型:数据集中的每一行都应是 JSON 对象列表。 每一行对应于一个对话。 行中的每个对象都是对话中的一个轮次或语句。
  • 验证数据:传入要用于验证模型的数据。
  1. 在微调窗体中选择"完成"以提交微调作业。 作业完成后,可以查看已微调模型的评估指标。 然后,可以将此经过微调的模型部署到终结点以进行推理。
自定义微调参数

如果要自定义微调参数,可以在微调 向导中选择"自定义",以配置批大小、纪元数和学习速率乘数。 其中每个设置都具有默认值,但如果需要,可以通过基于代码的示例进行自定义。

部署微调的模型

若要从机器学习运行经过微调的模型作业以部署 Azure OpenAI 模型,请执行以下操作:

  1. 完成 Azure OpenAI 模型的微调后,在"模型"列表中找到微调期间提供的名称的已注册模型,然后选择要部署的模型。
  2. 选择"部署"并为部署命名。 模型将会部署到链接到工作区的默认 Azure OpenAI 资源。

使用基于代码的示例微调

为了支持用户快速开始使用基于代码的微调,我们已面向 azureml-examples GitHub 存储库发布示例(包括 Python 笔记本和 Azure CLI 示例):

疑难解答

下面是一些步骤,可帮助你解决机器学习中 Azure OpenAI 的以下任何问题。

在尝试部署 Azure OpenAI 模型时,可能会遇到以下任何错误。

  • 每个模型名称和版本只能进行一个部署

  • 未能创建部署

    • 修复:无法创建 Azure OpenAI。 此错误这是由于配额问题造成的。 请确保具有足够的配额可用于部署。 微调模型的默认配额是每个客户 2 个部署。
  • 未能获取 Azure OpenAI 资源

    • 修复 :无法创建资源。 你不在正确的区域中,或者已超出三个 Azure OpenAI 资源的最大限制。 需要删除现有的 Azure OpenAI 资源,或者需要确保在受支持区域之一中创建了工作区。
  • 模型不可部署

    • 修复:此错误通常发生在尝试部署 GPT-4 模型时。 由于需求较高,需要[申请访问权限才能使用 GPT-4 模型]。
  • 微调作业失败

    • 修复:目前,对于新的微调模型,只能为特定订阅指定最多 10 个工作区。 如果用户创建更多工作区,尽管可以获得模型访问权限,但他们的作业将失败。 尝试将每个订阅的工作区数限制为 10。

关注TechLead,分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕,复旦机器人智能实验室成员,阿里云认证的资深架构师,项目管理专业人士,上亿营收AI产品研发负责人。

相关推荐
麻雀无能为力1 小时前
CAU数据挖掘 支持向量机
人工智能·支持向量机·数据挖掘·中国农业大学计算机
智能汽车人1 小时前
Robot---能打羽毛球的机器人
人工智能·机器人·强化学习
埃菲尔铁塔_CV算法1 小时前
基于 TOF 图像高频信息恢复 RGB 图像的原理、应用与实现
人工智能·深度学习·数码相机·算法·目标检测·计算机视觉
ζั͡山 ั͡有扶苏 ั͡✾1 小时前
AI辅助编程工具对比分析:Cursor、Copilot及其他主流选择
人工智能·copilot·cursor
东临碣石821 小时前
【AI论文】数学推理能否提升大型语言模型(LLM)的通用能力?——探究大型语言模型推理能力的可迁移性
人工智能·语言模型·自然语言处理
IT古董1 小时前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(3)决策树回归模型(Decision Tree Regression)
神经网络·机器学习·回归
不惑_2 小时前
动感阴影生成器,一键生成立体效果,提升设计质感
microsoft
marteker2 小时前
微软广告推出新的精细资产级别审核
microsoft
未来智慧谷2 小时前
微软医疗AI诊断系统发布 多智能体协作实现疑难病例分析
人工智能·microsoft·医疗ai
野生技术架构师2 小时前
简述MCP的原理-AI时代的USB接口
人工智能·microsoft