图解【提示工程 VS 微调 VS RAG、全量微调 VS LoRA微调、TopK VS TopP】截图笔记

文章目录


一、RAG流程

RAG实战中难以解决的问题点:

  1. 如何读取文档
  2. 如何分块
  3. 如何进行词嵌入编码成向量的形式
  4. 用户的问题的理解与词嵌入编码
  5. 如何在向量数据库中根据问题向量检索知识向量
  6. 检索到的结果排序
  7. 根据【结合问题和检索结果context】构建提示工程
  8. 将7给大模型,给多大的大模型?给哪个大模型?等等等。。。
  9. 产出的回答response给用户

二、提示工程 VS 微调 VS RAG

三、全量微调 VS LoRA微调

  1. LoRA论文:LoRA: Low-Rank Adaptation of Large Language Models
    Rank对应到视频里的k, k越小需要训练的参数就越少。
  2. Transformer的参数主要由很多矩阵来构成,比如multi-head attention里的矩阵,还有FFN里的矩阵等; 当我们使用LoRA的时候,可以选择性地对某一些矩阵进行改变,这部分可以在config里面进行设置。
  3. 矩阵的乘法:要保证维度的一致性,比如一个矩阵W是M乘N的,那这时候A必须是M乘K, B是K成N,这样才能保证乘出来的大小为M乘N。
  4. 视频里的K我们也称之为rank(秩),像这种M=AB,low rank factorization方法经常也在推荐领域使用。

四、微调 VS RAG 使用场景


四、GraphRAG

微软提出的GraphRAG项目备受关注。该项目的主要目的是通过改进信息检索和整理的方式,提升企业知识库的实用性和响应速度。GraphRAG的核心理念在于提前整理和构建知识图谱,并将信息关联起来,以便于快速回答具体或宏观的问题。

传统上,RAG(Retrieval-Augmented Answer Generation)方法在处理具体问题时表现良好,能够直接在知识库中检索出包含答案的段落,并进行融合生成回答。然而,对于宏观问题,如团队成就调查,RAG的效率和准确性则较差。这些问题要求获取散落在不同文档中的信息,并整合为连贯的答案。

GraphRAG通过构建知识图谱,将企业知识库中的相关信息进行分类和关联形成层次结构。这种结构使得回答问题时,可以依据信息的相关性和层次性快速定位答案。同时,GraphRAG还引入了社区挖掘算法,进一步优化信息关联和聚合的过程。

尽管GraphRAG具有显著的潜力,但其实际应用仍面临挑战。首先是知识图谱的构建,这一过程需要大量的人工干预以去除噪声和进行校正。其次是计算资源的消耗,特别是在处理大型知识图谱时,计算复杂度较高。最后,新数据的加入需要频繁更新知识图谱,这可能要求从零开始构建整个图谱,带来额外的计算负担。

综上所述,GraphRAG提供了一种将传统RAG与现代知识图谱相结合的新路径,有望大幅提升企业知识库的实用性和响应效率。尽管面临一些技术挑战,但该项目的潜力不容忽视。

五、TopK VS TopP

  • 🔢 TopK选取最高概率的前K项,减少不确定性。
  • ⭕️ TopP依据累计概率筛选出符合条件的所有选项,提供更大的灵活性。
  • 🔄 TopK固定预设值,而TopP则可根据需求动态调整范围。

七、RLHF

技术原文:Training language models to follow instructions with human feedback

  • RLHF中对齐过程使用的是PPO,是强化学习方法,而且PPO过程依赖于奖励模型。这种训练方式其实很有挑战,一方面奖励模型很关键但又很难训练,另外在强化学习阶段很多参数需要调整,而且过程容易跑偏。
  • 所以也有一些替代技术,比如DPO,相比PPO 更容易训练,而且不需要奖励模型。

八、自注意力机制(Self-Attention)

reference: https://space.bilibili.com/472543316

相关推荐
使二颗心免于哀伤28 分钟前
《设计模式之禅》笔记摘录 - 10.装饰模式
笔记·设计模式
悠哉悠哉愿意43 分钟前
【电赛学习笔记】MaxiCAM 项目实践——与单片机的串口通信
笔记·python·单片机·嵌入式硬件·学习·视觉检测
岩中竹2 小时前
广东省省考备考——常识:科技常识(持续更新)
笔记
Olrookie2 小时前
若依前后端分离版学习笔记(三)——表结构介绍
笔记·后端·mysql
rannn_1113 小时前
Java学习|黑马笔记|Day23】网络编程、反射、动态代理
java·笔记·后端·学习
UQWRJ3 小时前
菜鸟教程 R语言基础运算 注释 和数据类型
笔记
alex1005 小时前
AI Agent开发学习系列 - langchain之LCEL(5):如何创建一个Agent?
人工智能·python·语言模型·langchain·prompt·向量数据库·ai agent
好心的小明6 小时前
【深度之眼机器学习笔记】04-01-决策树简介、熵,04-02-条件熵及计算举例,04-03-信息增益、ID3算法
笔记·算法·决策树
liliangcsdn8 小时前
mac测试ollama llamaindex
数据仓库·人工智能·prompt·llama