rag笔记1

摘要

本次学习了 RAG的概念以及基本思想和使用的数据,RAG 靠检索外部资料缓解大模型幻觉与知识滞后;零样本无需标注微调即可完成新任务;JSON 作为轻量结构化格式,在 RAG 中用于数据规整、元数据存储与格式约束

abstract

This study covers the concept, basic ideas and data application of RAG. RAG alleviates large model hallucinations and knowledge lag by retrieving external materials; zero-shot can complete new tasks without labeled samples and fine-tuning; as a lightweight structured format, JSON is used in RAG for data standardization, metadata storage and format constraint.

什么是rag?

RAG 即检索增强生成,是一种将信息检索与大语言模型生成相结合的人工智能技术,先从外部知识库、文档、数据库等数据源中检索出和用户问题相关的真实资料,再把检索到的内容作为上下文输入大模型,让模型依托真实可靠的外部信息来生成答案,解决了大模型知识滞后、容易幻觉编造内容的问题,能精准适配企业私有数据、专业文档等专属场景,大幅提升问答、知识库咨询等任务的准确性和可信度。

零样本

Zero-shot(零样本)思想是指模型无需经过特定任务的标注样本训练,仅凭自身预训练学到的通用知识和语义理解能力,依靠自然语言任务描述,就能直接完成从未见过的全新任务,不用微调、不用给示例,靠模型原生泛化能力实现跨任务推理与输出。

JSON

JSON 是一种轻量级、跨语言、基于键值对的文本结构化数据格式,支持对象、数组、字符串、数字等类型,语法简单易解析、通用性极强;在 RAG 中,它主要用于把非结构化文档整理成带元数据的结构化 JSON 片段做分块存储,将文本切片、向量信息和来源、时间、分类等元数据以 JSON 形式存入向量数据库,同时用来规范 Prompt 入参结构、约束大模型以固定 JSON 格式输出结果,也可统一封装多路检索结果、配置 RAG 分块规则与检索参数,方便流程调度、结果解析和业务对接。

相关推荐
换个昵称241 分钟前
大模型学习8下-高性能推理引擎vLLM学习笔记
笔记·学习·vllm
LONGZHIQIN1 小时前
C#基础复习笔记
开发语言·笔记·c#
得闲喝茶1 小时前
跨表数据匹配——VLOOKUP、XLOOKUP
大数据·数据库·笔记·信息可视化·数据分析·excel
智慧景区与市集主理人3 小时前
巨有科技:市集笔记内容分发,低成本打造本地流量曝光矩阵
大数据·笔记·科技
IDIOSF3 小时前
Apple Notes Liberator:把 Apple Notes 里的笔记搬出来
笔记·其他
ljt27249606613 小时前
CPU:从底层电路到高性能执行架构
笔记
普普通通的一名码农4 小时前
TPS6120芯片说明
驱动开发·笔记·芯片手册
Amazing_Cacao4 小时前
CFCA精品可可工艺师初级校准:暴力破解机器黑盒,实现物理参数与最终风味的精准对齐
笔记·学习
阿米亚波4 小时前
【EVE-NG 实战】防火墙基础(VLAN · VRRP · NAT · ACL · 静态路由)
运维·网络·笔记·网络协议·计算机网络·网络安全·运维开发
杨逢昌工厂6S管理5 小时前
28- 杨逢昌:制造企业仓储6S反复混乱解决方案——四维定置标准化管控体系,让物料混放、通道堵塞等重复性乱象减少90%
大数据·经验分享·笔记·职场和发展·制造·学习方法