BGE:智源研究院突破性中英文语义Embedding向量模型

引言

智源研究院发布了一款开源的中英文语义向量模型BGE(BAAI General Embedding),在中英文语义检索精度与整体语义表征能力方面全面超越了OpenAI、Meta等同类模型。BGE模型的发布,标志着语义向量模型(Embedding Model)在搜索、推荐、数据挖掘等领域的应用迈入了一个新的阶段。

模型性能

BGE模型在中文语义向量综合表征能力评测C-MTEB中表现卓越。在检索精度方面,BGE中文模型(BGE-zh)约为OpenAI Text Embedding 002的1.4倍。

此外,BGE英文模型(BGE-en)在英文评测基准MTEB中同样展现了出色的语义表征能力,总体指标与检索能力两个核心维度均超越了此前开源的所有同类模型。

技术创新

BGE模型的卓越性能源于其高效的预训练和大规模文本对微调两方面要素。BGE采用了针对表征的预训练算法RetroMAE,利用无标签语料实现语言模型基座对语义表征任务的适配。同时,BGE针对中文、英文分别构建了多达120M、232M的样本对数据,帮助模型掌握实际场景中各种不同的语义匹配任务。

应用前景

此外,BGE模型在技术上还采取了非对称的指令添加方式,提升了语义向量在多任务场景下的通用能力。这一创新使得BGE模型在构建大语言模型应用(如阅读理解、开放域问答、知识型对话)时,展现了更加强大的功能。

效率与开源

值得一提的是,BGE模型在保持卓越性能的同时,并未增加模型规模与向量的维度,因而保持了相同的运行、存储效率。目前,BGE中英文模型均已开源,代码及权重均采用MIT协议,支持免费商用。

结论

总结来说,BGE模型的发布,不仅为中英文语义向量模型领域带来了一次重大突破,也为大模型生态基础设施建设提供了强有力的支持。其在语义检索能力上的领先优势,以及在多任务场景下的通用能力,都预示着BGE将在未来的大模型应用开发中发挥重要作用。

参考资料

Github

github.com/FlagOpen/Fl...

HuggingFace

huggingface.co/BAAI/

AI快站模型免费加速下载

aifasthub.com/models/BAAI

相关推荐
白熊1883 小时前
【大模型LLM】梯度累积(Gradient Accumulation)原理详解
人工智能·大模型·llm
愚戏师3 小时前
机器学习(重学版)基础篇(算法与模型一)
人工智能·算法·机器学习
F_D_Z4 小时前
【PyTorch】图像多分类项目部署
人工智能·pytorch·python·深度学习·分类
音视频牛哥6 小时前
打通视频到AI的第一公里:轻量RTSP服务如何重塑边缘感知入口?
人工智能·计算机视觉·音视频·大牛直播sdk·机器视觉·轻量级rtsp服务·ai人工智能
Wendy14417 小时前
【灰度实验】——图像预处理(OpenCV)
人工智能·opencv·计算机视觉
中杯可乐多加冰7 小时前
五大低代码平台横向深度测评:smardaten 2.0领衔AI原型设计
人工智能
无线图像传输研究探索7 小时前
单兵图传终端:移动场景中的 “实时感知神经”
网络·人工智能·5g·无线图传·5g单兵图传
zzywxc7878 小时前
AI在编程、测试、数据分析等领域的前沿应用(技术报告)
人工智能·深度学习·机器学习·数据挖掘·数据分析·自动化·ai编程
铭keny8 小时前
YOLOv8 基于RTSP流目标检测
人工智能·yolo·目标检测
墨尘游子9 小时前
11-大语言模型—Transformer 盖楼,BERT 装修,RoBERTa 直接 “拎包入住”|预训练白话指南
人工智能·语言模型·自然语言处理