rag笔记1

摘要

本次学习了 RAG的概念以及基本思想和使用的数据,RAG 靠检索外部资料缓解大模型幻觉与知识滞后;零样本无需标注微调即可完成新任务;JSON 作为轻量结构化格式,在 RAG 中用于数据规整、元数据存储与格式约束

abstract

This study covers the concept, basic ideas and data application of RAG. RAG alleviates large model hallucinations and knowledge lag by retrieving external materials; zero-shot can complete new tasks without labeled samples and fine-tuning; as a lightweight structured format, JSON is used in RAG for data standardization, metadata storage and format constraint.

什么是rag?

RAG 即检索增强生成,是一种将信息检索与大语言模型生成相结合的人工智能技术,先从外部知识库、文档、数据库等数据源中检索出和用户问题相关的真实资料,再把检索到的内容作为上下文输入大模型,让模型依托真实可靠的外部信息来生成答案,解决了大模型知识滞后、容易幻觉编造内容的问题,能精准适配企业私有数据、专业文档等专属场景,大幅提升问答、知识库咨询等任务的准确性和可信度。

零样本

Zero-shot(零样本)思想是指模型无需经过特定任务的标注样本训练,仅凭自身预训练学到的通用知识和语义理解能力,依靠自然语言任务描述,就能直接完成从未见过的全新任务,不用微调、不用给示例,靠模型原生泛化能力实现跨任务推理与输出。

JSON

JSON 是一种轻量级、跨语言、基于键值对的文本结构化数据格式,支持对象、数组、字符串、数字等类型,语法简单易解析、通用性极强;在 RAG 中,它主要用于把非结构化文档整理成带元数据的结构化 JSON 片段做分块存储,将文本切片、向量信息和来源、时间、分类等元数据以 JSON 形式存入向量数据库,同时用来规范 Prompt 入参结构、约束大模型以固定 JSON 格式输出结果,也可统一封装多路检索结果、配置 RAG 分块规则与检索参数,方便流程调度、结果解析和业务对接。

相关推荐
柳鲲鹏5 小时前
运气学概论:提纲草案
笔记
疯狂打码的少年7 小时前
【计算机网络】子网掩码与子网划分计算(含CIDR表示法)
服务器·笔记·计算机网络·php
自小吃多9 小时前
PCB Editor软件复制、改变、删除操作笔记
笔记·嵌入式硬件
动词ing10 小时前
【学习笔记】数据结构栈与队列(栈先进后出+队列先进先出+括号匹配+消消乐模型)
数据结构·笔记·学习
彧azz11 小时前
Git 入门实操实例:从安装到远程仓库全流程
大数据·笔记·git·学习·elasticsearch
David猪大卫12 小时前
【C++修炼】哈希表的实现
数据结构·c++·笔记·学习·算法·哈希算法·散列表
江湖人称菠萝包12 小时前
【Windows】《深入浅出Windows API程序设计:核心编程篇》笔记-Chapter6-动态链接库
windows·笔记
宵时待雨13 小时前
linux笔记归纳18:传输层协议TCP
linux·网络·笔记·网络协议·tcp/ip
逆境不可逃13 小时前
Pi Agent 学习笔记:一次提问背后的工具调用循环
java·笔记·学习
Ztt66666666614 小时前
紫釉高筒壶向上收紧,修长器身更显精神
经验分享·笔记·其他·百度·微信公众平台