rag笔记1

摘要

本次学习了 RAG的概念以及基本思想和使用的数据,RAG 靠检索外部资料缓解大模型幻觉与知识滞后;零样本无需标注微调即可完成新任务;JSON 作为轻量结构化格式,在 RAG 中用于数据规整、元数据存储与格式约束

abstract

This study covers the concept, basic ideas and data application of RAG. RAG alleviates large model hallucinations and knowledge lag by retrieving external materials; zero-shot can complete new tasks without labeled samples and fine-tuning; as a lightweight structured format, JSON is used in RAG for data standardization, metadata storage and format constraint.

什么是rag?

RAG 即检索增强生成,是一种将信息检索与大语言模型生成相结合的人工智能技术,先从外部知识库、文档、数据库等数据源中检索出和用户问题相关的真实资料,再把检索到的内容作为上下文输入大模型,让模型依托真实可靠的外部信息来生成答案,解决了大模型知识滞后、容易幻觉编造内容的问题,能精准适配企业私有数据、专业文档等专属场景,大幅提升问答、知识库咨询等任务的准确性和可信度。

零样本

Zero-shot(零样本)思想是指模型无需经过特定任务的标注样本训练,仅凭自身预训练学到的通用知识和语义理解能力,依靠自然语言任务描述,就能直接完成从未见过的全新任务,不用微调、不用给示例,靠模型原生泛化能力实现跨任务推理与输出。

JSON

JSON 是一种轻量级、跨语言、基于键值对的文本结构化数据格式,支持对象、数组、字符串、数字等类型,语法简单易解析、通用性极强;在 RAG 中,它主要用于把非结构化文档整理成带元数据的结构化 JSON 片段做分块存储,将文本切片、向量信息和来源、时间、分类等元数据以 JSON 形式存入向量数据库,同时用来规范 Prompt 入参结构、约束大模型以固定 JSON 格式输出结果,也可统一封装多路检索结果、配置 RAG 分块规则与检索参数,方便流程调度、结果解析和业务对接。

相关推荐
糖炒栗子03269 分钟前
深度学习笔记-FCN
笔记
星恒随风14 分钟前
Linux开发工具详解(二):Git版本控制、GitHub协作与GDB调试实战
linux·笔记·git·学习·github
by2099911 小时前
学会使用std::string类,并理解其内部是如何管理字符串的详细阐述(上)
c++·笔记·字符串·类和对象·string
笑鸿的学习笔记12 小时前
C++笔记之大块顺序写
java·c++·笔记
山岚的运维笔记13 小时前
ComfyUI NVIDIA安装教程:官方便携版下载+run_nvidia_gpu.bat启动,8G显存Windows实操
运维·服务器·windows·笔记·prompt·aigc·comfyui
知潮网16 小时前
手机号注销两年,免密扣款仍在继续
笔记
Seraphina3616 小时前
DVWA(SQL注入-low,medium,XSS反射-low)
前端·数据库·笔记·sql·网络安全·web·xss
维克兜率天18 小时前
【维克】配对交易的季节性:哪些品种适合长拿?
android·开发语言·笔记·python·算法·kotlin·量化
路弥行至19 小时前
【Head First 设计模式】第 2 章:观察者模式 —— 用现代 C++ 重新解读“交互对象的松耦合
c++·经验分享·笔记·观察者模式·设计模式·入门教程·headfirst
坤坤子吖20 小时前
Python基础语法学习:条件、循环与程序控制
开发语言·笔记·python·学习