rag

scl、7 小时前
人工智能·学习·agent·rag
AI学习与实践6_AI解场景Agent应用预研demo学习大模型Agent相关知识,使用llama_index实现python版的Agent demo,根据AI解题场景知识密集型任务特点,需要实现一个偏RAG的Agent WorkFlow,辅助AI解题。
麦田小猪7 小时前
知识库·rag·ollama·springai·pgvector·增强搜索
springai+pgvector+ollama实现rag首先在ollama中安装mofanke/dmeta-embedding-zh:latest。执行ollama run mofanke/dmeta-embedding-zh 。实现将文本转化为向量数据
AI小白龙*18 小时前
llm·prompt·embedding·agent·ai大模型·rag·大模型部署
开源模型破局OpenAI服务限制,15分钟灵活搭建RAG和Agent应用简介: 今天,我们做了两个实验,目标在15分钟内,完成下载社区的开源模型,部署成API,替换LlamaIndex中RAG和LangChain中OpenAI接口Agent的最佳实践,并取得符合预期的结果。
sky丶Mamba3 天前
人工智能·自然语言处理·rag
RAG技术:在自然语言处理中的深度融合与创新在自然语言处理(NLP)领域,随着技术的不断进步,我们见证了各种创新方法的涌现。其中,检索增强生成(Retrieval-Augmented Generation,简称RAG)技术以其独特的优势,逐渐成为了研究和应用的热点。本文旨在深入探讨RAG技术的原理、应用、挑战以及未来的发展趋势。
yaoohfox3 天前
llm·llama·rag
开源大模型RAG企业本地知识库问答机器人-ChatWikiChatWiki是一款开源的知识库 AI 问答系统。系统基于大语言模型(LLM )和检索增强生成(RAG)技术构建,提供开箱即用的数据处理、模型调用等能力,可以帮助企业快速搭建自己的知识库 AI 问答系统。 开源地址 GitHub - zhimaAi/chatwiki: chatwiki
linmoo19864 天前
embedding·向量数据库·rag·pypdf·文档分块·pdfminer
检索增强生成RAG系列3--RAG优化之文档处理在上一章中罗列了对RAG准确度的几个重要关键点,主要包括2方面,这一章就针对其中一方面,来做详细的讲解以及其解决方案。
营赢盈英6 天前
python·llama·rag·weaviate
Unable to get expected results using BM25 or any search functions in Weaviate题意:使用 Weaviate 中的 BM25 或任何搜索函数都无法获得预期结果I have created a collection in Weaviate, and ingested some documents into the Weaviate database using LlamaIndex. When I used the default search, I found that it was retrieving wrong documents the whole time. After t
linmoo19867 天前
人工智能·rag·检索增强生成
检索增强生成RAG系列2--提高RAG准确度的关键点上一章讲到了RAG的基本流程,但是如果只是完成一个基本流程,想要在商业上使用还是不行,因为正常商业上的使用其准确度至少有个90%甚至更高。那么如何提高RAG的准确度,那么需要看看RAG有哪些关键点。
我就是全世界8 天前
rag·gomate
GoMate:配置化模块化的Retrieval-Augmented Generation (RAG) 框架GoMate是一个配置化模块化的Retrieval-Augmented Generation (RAG)框架,其核心技术围绕着如何高效地从大量文本数据中检索信息并生成高质量的文本输出。以下是GoMate的核心技术要点:
AI_小站15 天前
人工智能·大语言模型·ai大模型·计算机技术·rag·大模型微调·大模型应用
如何手撸一个自有知识库的RAG系统RAG通常指的是"Retrieval-Augmented Generation",即“检索增强的生成”。这是一种结合了检索(Retrieval)和生成(Generation)的机器学习模型,通常用于自然语言处理任务,如文本生成、问答系统等。
六神就是我15 天前
论文阅读·笔记·llm·rag
【LLM之RAG】Self-RAG论文阅读笔记尽管大型语言模型(LLM)展示出了显著的能力,但它们在生成回答时经常包含事实错误,因为它们仅依赖于封装在模型中的参数知识。增强型检索生成(Retrieval-Augmented Generation, RAG)是一种方法,通过检索相关知识来减少此类问题。然而,无论是否需要检索,或检索的段落是否相关,不加选择地检索和整合固定数量的检索段落会降低语言模型的多功能性,或可能导致生成无用的回答。
六神就是我17 天前
论文阅读·笔记·llm·rag
【LLM之RAG】RAT论文阅读笔记近年来,大型语言模型(LLMs)在各种自然语言推理任务上取得了显著进展,尤其是在结合大规模模型和复杂提示策略(如链式思维提示(CoT))时。然而,LLMs 在推理的事实准确性方面存在越来越多的担忧,特别是在零样本 CoT 提示和需要多步骤和上下文感知推理的长视野生成任务中。这些任务包括代码生成、任务规划、数学推理等,需要事实正确的中间思维过程来成功完成任务。
python_知世17 天前
开发语言·人工智能·ai·golang·大模型·agi·rag
如何在 Go 应用程序中使用检索增强生成(RAG)本文将帮助大家实现 RAG (使用 LangChain 和 PostgreSQL )以提高 LLM 输出的准确性和相关性。
Florian18 天前
知识图谱·db-gpt·rag·openspg·tugraph
Vector | Graph:蚂蚁首个开源Graph RAG框架设计解读检索增强生成(RAG:Retrieval Augmented Generation)技术旨在把信息检索与大模型结合,以缓解大模型推理“幻觉”的问题。近来关于RAG的研究如火如荼,支持RAG的开源框架也层出不穷,并孕育了大量专业领域的AI工程应用。我们设计了一个通用的开源RAG框架,以兼容未来多样化的基础研究建设和工程化应用诉求。
余俊晖18 天前
人工智能·llm·聚类·向量·rag·检索
【RAG】RAG性能提升之路-RAPTOR:一种构建递归文档树的增强检索方法检索增强型语言模型(RALMs)在处理需要不断更新的知识和大量信息的文档时确实展现出了优势。然而,现有的方法在处理长篇文档时存在局限性,主要是因为它们通常只能检索较短的文本片段,这限制了对整体文档上下文的全面理解。在NLP中,长篇文档的检索和理解一直是一个挑战,因为传统检索方法往往难以有效处理长文档中的复杂结构和信息,可能导致检索结果不准确或遗漏关键信息。
余俊晖18 天前
rag·文档智能·文档解析·pdflux
【文档智能 & RAG】RAG增强之路-智能文档解析关键技术难点及PDF解析工具PDFlux在私域知识问答和企业知识工程领域,结合Retrieval-Augmented Generation(RAG)模型和大型语言模型(LLM)已成为主流方法。然而,企业中存在着大量的PDF文件,PDF解析的低准确性显著影响了基于专业知识的问答效果,因此,这些文件的有效解析对RAG模型的构建至关重要。上篇文章(【文档智能 & RAG】RAG增强之路:增强PDF解析并结构化技术路线方案及思路)主要讨论了开源的PDF解析技术,而本文将先探讨下RAG落地时常见的问题及文档解析在RAG的重要性、智能文档解析关键技术,然后
六神就是我19 天前
论文阅读·llm·raft·rag
【LLM之RAG】RAFT论文阅读笔记论文针对的主要问题是如何将预训练的大型语言模型(LLMs)适应特定领域的检索增强生成(RAG)。这些模型通常在广泛的文本数据上进行预训练,已经表现出在广义知识推理任务上的优越性能。然而,在特定领域,如法律、医学或最新新闻等,普遍的知识推理不足以满足精确性的要求,因此需要对这些模型进行适应性调整以增强其在这些领域内的应用性能。
六神就是我21 天前
论文阅读·笔记·llm·rag·kg
【LLM之RAG】KG_RAG论文阅读笔记该研究集中于通过将生物医学知识图谱(KG)与大型语言模型(LLMs)集成,以增强LLMs在生物医学应用中的表现。研究的动机源于LLMs在生成精确内容方面面临的挑战,尤其是在像生物医学这样准确性至关重要的领域。LLMs在广泛的通用文本上的传统训练并不总是能够在专业领域中转化为高准确性,这是因为模型尽管语言结构正确,却仍会生成错误信息(即“幻觉”)。
余俊晖21 天前
自然语言处理·pdf·rag·文档智能
【文档智能 & RAG】RAG增强之路:增强PDF解析并结构化技术路线方案及思路现阶段,尽管大模型在生成式问答上取得了很大的成功,但由于大部分的数据都是私有数据,大模型的训练及微调成本非常高,RAG的方式逐渐成为落地应用的一种重要的选择方式。然而,如何准确的对文档进行划分chunks,成为一种挑战,在现实中,大部分的专业文档都是以 PDF 格式存储,低精度的 PDF 解析会显著影响专业知识问答的效果。因此,本文将介绍针对pdf,介绍一些pdf结构化技术链路供参考。
Elastic 中国社区官方博客23 天前
大数据·运维·人工智能·elasticsearch·搜索引擎·全文检索·rag
如何在隔离环境中设置 LocalAI 以实现 GPU 驱动的文本嵌入作者:来自 Elastic Valeriy Khakhutskyy你是否想在 Elasticsearch 向量数据库之上构建 RAG 应用程序?你是否需要对大量数据使用语义搜索?你是否需要在隔离环境中本地运行?本文将向你展示如何操作。