【ModelArts】ModelArts一站式AI开发平台详解(一)

【ModelArts】ModelArts一站式AI开发平台详解(一)

一、前言

ModelArts是什么? 这是每一个接触到它的人第一个想问的问题。 作为华为一站式AI开发平台,ModelArts(模型艺术)提供了AI全周期的管理,从AI的创建,训练,调优,到部署。(官方术语:数据处理、模型训练、模型部署、开发环境支持以及模型管理与共享等 AI 开发) 以上整个环节都可在ModelArts平台上操作。

ModelArts具备,机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力。

综上所述,通过使用 ModelArts,开发者可以大大简化 AI 开发流程,降低开发门槛,提高开发效率,加速 AI 应用的落地。

并且ModelArts对于不同程度的使用者,例如入门小白不懂编程,或者懂编程不懂AI,亦或者是懂AI也懂算法和编码。都有不同的对应工具和操作进行使用。

二、技术架构优势

1、 算力支撑: ModelArts底层基于华为昇腾AI芯片构建了分布式AI训练框架,能够提供强大的算力支持。 无论是小规模的模型训练,还是大规模的深度学习任务,都能轻松应对。 同时,平台支持各种异构计算资源,开发者可以根据实际需求灵活选择使用,而无需关心底层的技术细节。

2、 微服务架构: 采用微服务架构,将AI开发流程拆解为多个独立的服务,并通过API接口进行交互。这种架构使得开发者能够根据自己的需求,灵活地选择和组合所需的AI开发工具和服务,提高开发的灵活性和效率。

3、 框架兼容性: 支持TensorFlow、PyTorch、MindSpore等主流开源的AI开发框架,也支持开发者使用自研的算法框架。这意味着无论您习惯使用哪种框架进行AI开发,ModelArts都能满足您的需求,匹配您的使用习惯。

三、ModelArts基本操作步骤

ModelArts控制台地址

(一)注册与登录

首先,您需要注册一个华为云账号。访问华为云官网(www.huaweicloud.com/),按照页面提示完成账...

(二)创建OBS桶与授权

1、 创建OBS桶: OBS(对象存储服务)桶是用于存储数据和模型的地方。在ModelArts控制台中,选择"数据管理",然后点击"创建OBS桶"。 在创建过程中,需要设置桶的名称(名称需全局唯一)、所在区域(建议选择与ModelArts服务相同的区域,以避免跨区域流量费用)、访问权限(根据实际需求选择公开读或私有等权限)等参数。

2.、授权ModelArts访问OBS桶: 创建好OBS桶后,需要授权ModelArts能够访问该桶。 如果在创建桶时没有完成授权操作,可以在ModelArts控制台的相关设置中找到"委托管理",创建一个委托,授予ModelArts访问OBS桶的权限。 这样,ModelArts才能读取桶中的数据进行训练,以及将训练好的模型保存到桶中。

(三)数据集准备

1、 数据上传

将您用于训练的数据集上传至之前创建的OBS桶中。您可以通过华为云OBS控制台、命令行工具或者SDK等多种方式进行数据上传。

例如,如果数据集是图片,可以将图片按照一定的目录结构组织好,然后上传至OBS桶的指定文件夹中。

2.、创建数据集: 在ModelArts控制台的"数据管理"模块中,点击"创建数据集"。选择数据集的类型(如图像分类数据集、目标检测数据集等),然后指定数据集的名称、描述等信息。

接着,关联之前上传至OBS桶中的数据文件路径,将数据导入到ModelArts平台中。

开发环境准备

目前ModelArts有两种开发形式,远程开发和云桌面开发。

远程开发 - 本地IDE+ModelArts插件(VS Code/PyCharm ToolKit)方式远程访问Notebook,贴近开发人员使用习惯,方便快捷访问云上Notebook。

集成云化JupyterLab - 提供在线的交互式开发调试工具,提供免费算力,规格按需切换,案例内容秒级接入与分享,让AI探索与教学更简单。 Notebook:ModelArts集成了JupyterLab Notebook,为开发者提供了在线的代码开发环境。在Notebook中,您可以方便地进行代码编写、调试和运行,并且可以直接访问平台上的数据集和模型。

同时,Notebook还支持多种编程语言,如Python、R等,满足不同开发者的需求。此外,平台提供的云上开发环境包含AI计算资源和云上存储,并且预置了AI引擎,让您无需再花费时间搭建本地开发环境,即可快速开始AI开发工作。如果您有特殊的运行环境需求,还可以将开发环境直接保存成为镜像,供训练、推理使用。

代码迁移:如果您已经在本地开发了部分代码,ModelArts支持将本地代码一键同步至平台,方便您在平台上继续进行开发和训练。同时,平台也支持本地IDE(如VS Code)通过安装ModelArts插件进行远程开发,实现线上线下协同开发,贴近开发人员的使用习惯。

相关推荐
guyoung1 小时前
BoxAgnts 工具系统(6)——多 Provider 适配与 Agent 查询循环
rust·agent·ai编程
AI 小老六1 小时前
Google AX 控制面拆解:分布式 Agent 如何把断点恢复、审计策略和执行调度收进同一条链路
人工智能·分布式·后端·ai·架构·ai编程
HLAIA光子1 小时前
AI Coding框架,打好TDD和SDD这两拳
单元测试·ai编程·代码规范
2601_956456341 小时前
5分钟学会:PaperPass如何进行AIGC片段检测
aigc
坚果派·白晓明1 小时前
鸿蒙 PC 应用集成 libhv 鸿蒙化三方库 —— AtomCode + Skills 驱动的高效集成实践
c语言·c++·ai编程·harmonyos·atomcode
为码消得人憔悴2 小时前
从零开始搭建 Obsidian 知识库
人工智能·aigc·agent
AINative软件工程2 小时前
Agent 跑了 7 天,团队欠下了这 5 笔运维债
ai编程
浩风祭月2 小时前
我用 AI 辅助重构了遗留项目的认证模块:从明文存储到 OAuth 2.0 的安全升级
后端·php·ai编程
Java知识技术分享2 小时前
opencode安装ui-ux-pro-max和frontend-ui-ux技能
人工智能·ui·个人开发·ai编程·ux
虎妞05002 小时前
AI 编程助手横评:Cursor vs Copilot vs Claude Code
ai编程·开发工具·cursor·github copilot·claude code