Embedding,rerank,lora区别

人工智能中rag+llm大模型学习,经常听到有些名词,其中embedding ,rerank,lora容易混淆。

embedding啥作用【转换文本为向量】,

rerank啥作用【接受embedding向量然后重排】

lora啥作用【用低秩矩阵来完成模型微调】

低秩矩阵啥意思?【有专门的转换论文】就是多维的矩阵变成低维,减少输入参数,从而达到不增加硬件就提高查询效率

lora属于embedding么?不属于

lora属于rerank么?不属于

embedding ,rerank,lora属于大模型组件么

embedding ,rerank,lora是rag中的重要组件,不属于llm组件

Embedding、Rerank和LoRA是人工智能和自然语言处理中的三个不同概念,分别对应模型功能、任务阶段和参数高效微调技术。

‌**Embedding模型的核心功能是将文本转换为向量表示。**‌ 它将输入文本(如句子或文档)映射到固定维度的向量空间,使语义相似的文本在向量空间中距离更近,主要用于语义相似度计算和粗粒度召回,例如在信息检索中快速从大规模文档库中筛选相关片段;这类模型通常基于Transformer架构(如BERT变体),但参数量较小(如all-MiniLM-L6-v2约2200万参数),并采用双塔结构以支持高效向量检索,适合在线系统实时处理。‌12

‌**Rerank模型专注于对初步结果进行精排序。**‌ 它接收Embedding模型返回的候选文档列表,通过交叉编码器结构对查询与每个文档进行细粒度匹配,输出相关性分数以优化排序;其目标是提升检索精度,尤其在RAG系统中能捕捉上下文细微差异,但计算成本较高,因此通常应用于小规模候选集(如前100个文档)的后处理阶段。‌13

‌**LoRA是一种参数高效微调技术,与模型功能无关。**‌ 它通过引入低秩矩阵来微调大型模型(如LLM),仅更新少量参数即可适应新任务,显著降低计算和存储开销;LoRA可应用于Embedding或Rerank模型的微调过程,例如在Rerank阶段使用LoRA优化模型对特定领域数据的适应性,但其本质是训练方法而非独立模型类型。‌4

‌**三者在典型工作流中的关系如下:**‌ 在检索系统(如RAG)中,Embedding模型首先将文档和查询转换为向量,进行快速粗召回;随后Rerank模型对召回的候选集进行精细排序,提升相关性;而LoRA作为一种微调技术,可在此流程的任意阶段使用,例如用LoRA优化Embedding模型的语义表示能力或Rerank模型的相关性判断,以适应特定应用场景

与LLM的关联‌:Embedding和Rerank模型虽可能基于LLM架构(如Qwen系列)训练,但它们功能独立于LLM的生成任务;LLM在RAG中仅承担生成阶段的角色,而Embedding、Rerank和LoRA均服务于检索流程,共同构成RAG的检索增强机制

相关推荐
格桑阿sir5 小时前
10-大模型智能体开发工程师:RAG检索增强生成
ai·大模型·llm·embedding·agent·检索增强·rag
寻道码路8 小时前
LangChain4j Java AI 应用开发实战(十):Embedding 模型与文本分类 - 语义向量化
java·人工智能·ai·embedding
贺国亚8 小时前
RAG检索增强-向量库与Chunking
prompt·embedding
不爱吃糖の糖糖2 天前
RAG 06:RAG 多路召回与检索优化策略详解
人工智能·embedding
布吉岛的石头2 天前
Java 程序员第 38 阶段:Embedding 向量缓存实战,减少重复向量化计算开销
java·缓存·embedding
tzc_fly3 天前
Tuna-2:直接像素embedding打败视觉编码器
embedding
孟林洁3 天前
Java转AI应用开发速成(2)——核心概念扫盲Token、Prompt、Embedding 是什么
人工智能·ai·prompt·embedding
这是谁的博客?3 天前
Embedding 模型深度解析:文本嵌入技术原理与 MTEB 评估体系
ai·embedding·文本处理·mteb·bge·向量表示
夜雪闻竹5 天前
从零实现 Embedding 服务:文本转向量
人工智能·算法·embedding
养肥胖虎5 天前
完整学习LLM(五):Embedding是什么,为什么文本能变成向量
llm·embedding·rag