多模态大模型微调实践!PAI+LLaMA Factory搭建AI导游

一、引言

AI的快速发展推动了各行各业的智能化转型和创新,随之而来的是对AI应用的迫切需求。

如何微调大模型、高效搭建AI应用成为了开发者们广泛关注的技术方向。阿里云人工智能平台PAI,联合开源低代码大模型微调框架LLaMA Factory ,共同打造多模态大模型微调训练最佳实践,通过微调 Qwen2-VL 模型,快速搭建文旅领域知识问答机器人,带您开启AI创新与应用之旅,点击阅读原文可马上体验~

二、详细实验步骤

1、环境准备和资源准备

为了顺利开发文旅领域知识问答机器人,首先需要准备好运行环境,包括开通阿里云交互式建模PAI-DSW服务并创建实例。

1.1领取PAI-DSW免费试用权益

前往文末"阅读原文"中的阿里云活动页面,领取PAI-DSW产品的免费试用资源包。新用户可免费获得试用资源,用于启动和运行实例,具体试用权益和试用规则请参考领取页面。老用户可创建按量付费实例,按小时计费,约6-30元/小时。

1.2开通机器学习PAI并创建默认工作空间

前往PAI控制台,其中关键参数配置如下:

  • 本教程地域选择:华北2(北京)。您也可以根据情况选择华东1(杭州)、华东2(上海)、华南1(深圳)地域。
  • 组合开通:本教程无需使用其他产品,去除勾选MaxCompute和DataWorks产品。
  • 服务角色授权:单击去授权,完成服务角色授权。

说明:更多详细内容,请参见开通并创建默认工作空间。

1.3 进入PAI NotebookGallery

登录PAI控制台。

在左侧导航栏中,选择快速开始>NotebookGallery。

在Notebook Gallery页面,单击进入"LLaMA Factory多模态微调实践:微调Qwen2-VL构建文旅大模型"教程。

在详情页面,您可查看到预置的LLaMA Factory多模态微调实践:微调Qwen2-VL构建文旅大模型教程,单击右上角的在DSW中打开。

在请选择对应实例对话框中,单击新建DSW实例。

1.4 创建PAI-DSW实例

在配置实例页面,自定义输入实例名称,例如DSW_LlamaFactory。

说明:

  • 若您是 PAI 产品新用户,请再次确认是否已领取免费使用权益,点击领取。若您未领取免费试用权益,或不符合免费试用条件,或历史已领取且免费试用额度用尽或到期,完成本实验将产生扣费,大约为6-30元/小时。
  • 请在实验完成后,参考最后一章节清理及后续,停止/删除实例,以免产生不必要的扣费或资源消耗。

GPU推荐使用 24GB 显存的 A10(ecs.gn7i-c8g1.2xlarge)或更高配置。

※ 支持免费试用的资源:

ecs.gn7i-c8g1.2xlarge、ecs.gn6v-c8g1.2xlarge、ecs.g6.xlarge

在配置实例页面的选择镜像区域,请确认镜像是否为官方镜像的modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04

在配置实例页面,未提及的参数保持默认即可,单击确认,创建实例。

请您耐心等待大约3分钟左右,当状态变为运行中时,表示实例创建成功,点击打开NoteBook。

1.5 运行Notebook教程文件

安装LLaMA Factory

根据教程指引,依次运行命令。

说明:单击命令左侧的运行▶按钮表示开始运行任务,当左侧为✅号时表明成功运行结束。

下载数据集

LLaMA-Factory 项目内置了丰富的数据集,放在了 data目录下。您可以跳过本步骤,直接使用内置数据集。您也可以准备自定义数据集,将数据处理为框架特定的格式,放在 data 下,并且修改 dataset_info.json 文件。

本教程准备了一份多轮对话数据集,运行下述命令下载数据。

说明:单击命令左侧的运行▶按钮表示开始运行任务,当左侧为✅号时表明成功运行结束。

2. 模型微调

2.1 启动 Web UI

单击命令左侧的运行▶按钮表示开始运行任务,当左侧为✅号时表明成功运行结束。

然后单击返回的URL地址,进入Web UI页面。

2.2 配置参数

进入 WebUI 后,可以切换语言到中文(zh)。首先配置模型,本教程选择 Qwen2VL-2B-Chat 模型,微调方法修改为 full,针对小模型使用全参微调方法能带来更好的效果。

数据集使用上述下载的 train.json。

可以点击「预览数据集」。点击关闭返回训练界面。

设置学习率为 1e-4,训练轮数为 10,更改计算类型为 pure_bf16,梯度累积为 2,有利于模型拟合。

在其他参数设置区域修改保存间隔为 1000,节省硬盘空间。

2.3 启动微调

将输出目录修改为 train_qwen2vl,训练后的模型权重将会保存在此目录中。点击「预览命令」可展示所有已配置的参数,您如果想通过代码运行微调,可以复制这段命令,在命令行运行。

点击「开始」启动模型微调。

启动微调后需要等待一段时间,待模型下载完毕后可在界面观察到训练进度和损失曲线。模型微调大约需要 14 分钟,显示"训练完毕"代表微调成功。

3. 模型对话

选择「Chat」栏,将检查点路径改为 train_qwen2vl,点击「加载模型」即可在 Web UI 中和微调后的模型进行对话。

首先点击下载测试图片1或测试图片2,并上传至对话框的图像区域,接着在系统提示词区域填写"你是一个导游,请生动有趣地回答游客提出的问题"。在页面底部的对话框输入想要和模型对话的内容,点击提交即可发送消息。

发送后模型会逐字生成回答,从回答中可以发现模型学习到了数据集中的内容,能够恰当地模仿导游的语气介绍图中的山西博物院。

点击「卸载模型」,点击检查点路径输入框取消勾选检查点路径,再次点击「加载模型」,即可与微调前的原始模型聊天。

重新向模型发送相同的内容,发现原始模型无法准确识别山西博物院。

三、资源清理和后续操作

  1. 资源清理

    • 在实验完成后,前往控制台停止或删除实例,以避免资源的持续消耗和不必要的费用。
  2. 后续使用

    • 在试用有效期内,可以继续使用DSW实例进行模型训练和推理验证,探索更多AI图像编辑的可能性。

四、晒出与AI 导游的创意对话,最高赢乐歌台式升降桌M2S

想必你通过实操,已经学会如何利用阿里云PAI-DSW和LLaMA Factory开源低代码大模型微调框架,微调 Qwen2-VL 模型,快速搭建文旅领域知识问答机器人。现在邀请你来到阿里云开发者社区参加**"使用PAI+LLaMA Factory 微调 Qwen2-VL 模型,搭建文旅领域知识问答机器人"活动,领取免费试用云资源,跟随教程完成作品生成并上传,得精美计时器,限量400个。邀请好友完成任务即有机会获得乐歌台式升降桌M2S、小米充电宝、小米双肩包等诸多好礼。点击阅读原文**查看活动详情~

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

相关推荐
蜡笔小新星几秒前
针对初学者的PyTorch项目推荐
开发语言·人工智能·pytorch·经验分享·python·深度学习·学习
爱喝热水的呀哈喽3 分钟前
expand,None索引,permute【pytorch】
人工智能·深度学习
博纳软云_小程序一站服务平台26 分钟前
手边酒店多商户版V2源码独立部署_博纳软云
程序人生·微信小程序·小程序·微信公众平台
宋一诺3340 分钟前
机器学习—推理:做出预测(前向传播)
人工智能·机器学习
灰哥数据智能1 小时前
DB-GPT系列(二):DB-GPT部署(镜像一键部署、源码部署)
python·gpt·语言模型·数据分析
矩阵猫咪1 小时前
【深度学习】时间序列预测、分类、异常检测、概率预测项目实战案例
人工智能·pytorch·深度学习·神经网络·机器学习·transformer·时间序列预测
OJAC近屿智能1 小时前
热门 AI 培训机构大盘点!近屿智能、黑马、博为峰,哪家更适合你的需求?
人工智能
CV-King2 小时前
yolov11-cpp-opencv-dnn推理onnx模型
人工智能·opencv·yolo·计算机视觉·dnn
不是AI2 小时前
【持续更新】【NLP项目】【自然语言处理】智能聊天机器人——“有问必答”【Chatbot】第1章、《系统、环境》
人工智能·自然语言处理·机器人
Qqqguo2 小时前
双十一母婴用品排行榜 准妈妈的母婴购物清单
人工智能·生活