微软发布多模态模型Phi-3-vision,仅4.2B,小模型大潜力

前言

在大型语言模型(LLM)领域,模型参数规模与性能之间一直存在着密切的联系。近年来,虽然参数规模不断攀升,但随之而来的训练成本和推理成本也成为了制约模型发展的瓶颈。为了打破这一困境,微软推出了 Phi-3 模型家族,旨在用更小的模型实现更高的性能。近期,微软在 Build 大会上发布了 Phi-3 家族的新成员------Phi-3-vision,一个仅有 42 亿参数的多模态模型,展现了小模型的巨大潜力。

技术特点

Phi-3-vision是Phi-3家族中的第一个多模态模型,结合了文本和图像视觉功能,以及对现实世界图像进行推理和从图像中提取文本并进行推理的能力 。同时还针对图表和图解的理解进行了优化,可用于生成数据洞见和回答问题。Phi-3-vision是在Phi-3-mini的基础模型上构建的,微软继续坚持小型模型大潜力的路线:提供了强大的语言和图像视觉推理性能。

性能表现

Phi-3-vision 的性能表现超乎预期,在通用视觉推理任务、OCR、表格和图表理解任务中超越了像 Claude-3 Haiku 和 Gemini 1.0 Pro V 这样的更大模型。这充分证明了 Phi-3 家族在小模型设计方面的成功,以及在多模态领域的强大实力。

优势:
  • 小模型大潜力: 仅有 42 亿参数,性能却超越了更大的模型,证明了 Phi-3 模型家族在模型压缩和性能优化方面的突破。

  • 多模态能力: 结合了语言和视觉能力,能够进行图像理解,并进行文本推理和问答,以及图表、图解和表格理解任务。

  • 高效推理: 模型体积小,推理硬件资源需求低,非常适合在本地设备部署,满足企业对高效推理的需求。

Phi-3 模型家族:

除了 Phi-3-vision,微软还发布了其他三个 Phi-3 模型:

  • Phi-3-mini: 一个 38 亿参数的语言模型,提供两种上下文长度(128K 和 4K)。

  • Phi-3-small: 一个 70 亿参数的语言模型,提供两种上下文长度(128K 和 8K)。

  • Phi-3-medium: 一个 140 亿参数的语言模型,提供两种上下文长度(128K 和 4K)。

这些模型均已开源,在 Hugging Face 平台上可以找到所有 Phi-3 模型。

  • 应用场景

Phi-3 模型家族具有广泛的应用场景:

  • 语言理解和生成: Phi-3-mini、Phi-3-small 和 Phi-3-medium 模型可以被用于各种语言理解和生成任务,如内容创作、摘要、问答和情感分析。

  • 视觉推理: Phi-3-vision 模型非常适合需要对图像和文本进行推理的任务,例如 OCR 任务,以及图表、图解和表格理解任务。

  • 企业应用: 由于体积小,推理成本低,Phi-3 模型家族非常适合企业进行特定任务的微调训练,满足企业对成本效益和本地部署的需求。

总结

Phi-3-vision 的发布,再次证明了微软在 LLM 领域的技术实力,并展现了小模型在多模态领域的巨大潜力。随着技术的不断发展,相信 Phi-3 模型家族将会在更多领域发挥作用,为人们的生活带来更多便利和乐趣。

模型下载

Huggingface模型下载

https://huggingface.co/microsoft/Phi-3-vision-128k-instruct

AI快站模型免费加速下载

https://aifasthub.com/models/microsoft

相关推荐
草莓熊Lotso4 小时前
Linux 文件描述符与重定向实战:从原理到 minishell 实现
android·linux·运维·服务器·数据库·c++·人工智能
Coder_Boy_5 小时前
技术发展的核心规律是「加法打底,减法优化,重构平衡」
人工智能·spring boot·spring·重构
会飞的老朱7 小时前
医药集团数智化转型,智能综合管理平台激活集团管理新效能
大数据·人工智能·oa协同办公
聆风吟º9 小时前
CANN runtime 实战指南:异构计算场景中运行时组件的部署、调优与扩展技巧
人工智能·神经网络·cann·异构计算
Codebee11 小时前
能力中心 (Agent SkillCenter):开启AI技能管理新时代
人工智能
聆风吟º11 小时前
CANN runtime 全链路拆解:AI 异构计算运行时的任务管理与功能适配技术路径
人工智能·深度学习·神经网络·cann
uesowys11 小时前
Apache Spark算法开发指导-One-vs-Rest classifier
人工智能·算法·spark
AI_567811 小时前
AWS EC2新手入门:6步带你从零启动实例
大数据·数据库·人工智能·机器学习·aws
User_芊芊君子12 小时前
CANN大模型推理加速引擎ascend-transformer-boost深度解析:毫秒级响应的Transformer优化方案
人工智能·深度学习·transformer
智驱力人工智能12 小时前
小区高空抛物AI实时预警方案 筑牢社区头顶安全的实践 高空抛物检测 高空抛物监控安装教程 高空抛物误报率优化方案 高空抛物监控案例分享
人工智能·深度学习·opencv·算法·安全·yolo·边缘计算