rag笔记1

摘要

本次学习了 RAG的概念以及基本思想和使用的数据,RAG 靠检索外部资料缓解大模型幻觉与知识滞后;零样本无需标注微调即可完成新任务;JSON 作为轻量结构化格式,在 RAG 中用于数据规整、元数据存储与格式约束

abstract

This study covers the concept, basic ideas and data application of RAG. RAG alleviates large model hallucinations and knowledge lag by retrieving external materials; zero-shot can complete new tasks without labeled samples and fine-tuning; as a lightweight structured format, JSON is used in RAG for data standardization, metadata storage and format constraint.

什么是rag?

RAG 即检索增强生成,是一种将信息检索与大语言模型生成相结合的人工智能技术,先从外部知识库、文档、数据库等数据源中检索出和用户问题相关的真实资料,再把检索到的内容作为上下文输入大模型,让模型依托真实可靠的外部信息来生成答案,解决了大模型知识滞后、容易幻觉编造内容的问题,能精准适配企业私有数据、专业文档等专属场景,大幅提升问答、知识库咨询等任务的准确性和可信度。

零样本

Zero-shot(零样本)思想是指模型无需经过特定任务的标注样本训练,仅凭自身预训练学到的通用知识和语义理解能力,依靠自然语言任务描述,就能直接完成从未见过的全新任务,不用微调、不用给示例,靠模型原生泛化能力实现跨任务推理与输出。

JSON

JSON 是一种轻量级、跨语言、基于键值对的文本结构化数据格式,支持对象、数组、字符串、数字等类型,语法简单易解析、通用性极强;在 RAG 中,它主要用于把非结构化文档整理成带元数据的结构化 JSON 片段做分块存储,将文本切片、向量信息和来源、时间、分类等元数据以 JSON 形式存入向量数据库,同时用来规范 Prompt 入参结构、约束大模型以固定 JSON 格式输出结果,也可统一封装多路检索结果、配置 RAG 分块规则与检索参数,方便流程调度、结果解析和业务对接。

相关推荐
星恒随风1 小时前
C语言数据结构排序算法详解(下):冒泡排序、快速排序、归并排序和计数排序
c语言·数据结构·笔记·学习·排序算法
米小葱1 小时前
【学习笔记】cmake
笔记·学习
小+不通文墨3 小时前
把树莓派外接的DHT11接收的温湿度发送到emqx上
经验分享·笔记·嵌入式硬件·学习·树莓派
会编程的土豆4 小时前
Go 方法接收者超清晰笔记(类型名 vs 变量名)
开发语言·笔记·golang
fanged5 小时前
C++的汇编实现(TODO)
笔记
不羁的木木5 小时前
Form Kit(卡片开发服务)学习笔记01-核心概念与架构设计
笔记·学习·harmonyos
不羁的木木5 小时前
ArkWeb实战学习笔记01-核心概念与架构设计
笔记·学习·harmonyos
大明者省5 小时前
IIS 端口绑定正常访问的原理说明与常见误区澄清
运维·服务器·笔记
数据皮皮侠AI6 小时前
上市公司耐心资本数据(2010-2025)
大数据·人工智能·笔记·能源·1024程序员节