rag笔记1

摘要

本次学习了 RAG的概念以及基本思想和使用的数据,RAG 靠检索外部资料缓解大模型幻觉与知识滞后;零样本无需标注微调即可完成新任务;JSON 作为轻量结构化格式,在 RAG 中用于数据规整、元数据存储与格式约束

abstract

This study covers the concept, basic ideas and data application of RAG. RAG alleviates large model hallucinations and knowledge lag by retrieving external materials; zero-shot can complete new tasks without labeled samples and fine-tuning; as a lightweight structured format, JSON is used in RAG for data standardization, metadata storage and format constraint.

什么是rag?

RAG 即检索增强生成,是一种将信息检索与大语言模型生成相结合的人工智能技术,先从外部知识库、文档、数据库等数据源中检索出和用户问题相关的真实资料,再把检索到的内容作为上下文输入大模型,让模型依托真实可靠的外部信息来生成答案,解决了大模型知识滞后、容易幻觉编造内容的问题,能精准适配企业私有数据、专业文档等专属场景,大幅提升问答、知识库咨询等任务的准确性和可信度。

零样本

Zero-shot(零样本)思想是指模型无需经过特定任务的标注样本训练,仅凭自身预训练学到的通用知识和语义理解能力,依靠自然语言任务描述,就能直接完成从未见过的全新任务,不用微调、不用给示例,靠模型原生泛化能力实现跨任务推理与输出。

JSON

JSON 是一种轻量级、跨语言、基于键值对的文本结构化数据格式,支持对象、数组、字符串、数字等类型,语法简单易解析、通用性极强;在 RAG 中,它主要用于把非结构化文档整理成带元数据的结构化 JSON 片段做分块存储,将文本切片、向量信息和来源、时间、分类等元数据以 JSON 形式存入向量数据库,同时用来规范 Prompt 入参结构、约束大模型以固定 JSON 格式输出结果,也可统一封装多路检索结果、配置 RAG 分块规则与检索参数,方便流程调度、结果解析和业务对接。

相关推荐
会编程的土豆1 小时前
Gin 框架入门笔记
笔记·gin
Heartache boy2 小时前
野火STM32_HAL库版课程笔记-DWT应用与DHT11温湿度传感器
笔记·stm32·单片机·嵌入式硬件
hmbbcsm9 小时前
关于transformors库的学习笔记
笔记·学习
xqqxqxxq9 小时前
Java AI智能P图工具技术笔记
java·人工智能·笔记
FakeOccupational10 小时前
【电路笔记 PCB】Altium Designer : AD20信号完整性(Signal Integrity)分析+单线路传输分析+串扰分析(暂记)
笔记
闪闪发亮的小星星11 小时前
链路预算相关
笔记
霍霍的袁11 小时前
【初识C语言】预处理笔记(预处理指令、宏定义等)
c语言·笔记·visualstudio
dr_yingli13 小时前
慢性肾脏病评估与管理临床实践指南 KDIGO 2024 CKD 诊断指标速查手册
笔记
OBiO201313 小时前
从单细胞多组学到体内验证:器官纤维化与代谢疾病的研究新范式
笔记·学习