rag

健忘的派大星

【AI大模型】根据官方案例使用milvus向量数据库打造问答RAG系统“ 向量数据库是RAG技术的重要底座之一 ”关于RAG和向量数据库的基础知识这里就不再做介绍了，不懂的可以翻看之前的文章。

lightrag源码 : Generate chunks from document

哥不是小萝莉

提升大语言模型的三大策略随着大语言模型（LLMs）在技术和应用上的不断发展，它们已经深刻地改变了我们与计算机的互动方式。从文本生成到语言理解，LLMs的应用几乎涵盖了各个行业。然而，尽管这些模型已展现出令人印象深刻的能力，如何将它们真正适配到自己特定的业务需求中，仍然是一个复杂且充满挑战的任务。

阿里云大数据AI技术

面向法律场景的大模型RAG检索增强解决方案在现代信息检索领域，检索增强生成（Retrieval-Augmented Generation, RAG）模型结合了信息检索与生成式人工智能的优点，从而在特定场景下提供更为精准和相关的答案。在特定场景下，例如法律等领域，用户通常需要精确且相关的信息来支持决策。传统生成模型虽然在自然语言理解和生成方面表现良好，但在专业知识的准确性上可能有所不足。RAG模型通过将检索与生成相结合，能有效提升回答的准确性和上下文相关性。本方案以人工智能平台PAI为基础产品，为您介绍面向法律场景的大模型RAG检索增强解决方案。

CancerGPT ：基于大语言模型的罕见癌症药物对协同作用少样本预测研究今天我们一起来剖析一篇发表于《npj Digital Medicine》的论文——《CancerGPT for few shot drug pair synergy prediction using large pretrained language models》。该研究聚焦于一个极具挑战性的前沿领域：如何利用大语言模型（LLMs）在数据极为稀缺的罕见癌症组织中，实现对药物对协同作用的精准预测。（欢迎关注“赛文AI药学”，获取更多AI与药学的内容）

RAG 技术困境：为何单纯依赖向量嵌入不可靠？RAG（Retrieval-Augmented Generation）是一种结合了检索和生成的自然语言处理技术。它通过检索相关文档来增强语言模型的生成能力，旨在提高生成文本的质量和相关性。在 RAG 系统中，首先使用检索模块从大规模文档集合中检索与用户查询最相关的文档片段，然后将这些文档片段作为上下文信息输入到生成模块，生成模块基于这些上下文信息生成回答。

大模型之路

Table-Augmented Generation（TAG）：Text2SQL与RAG的升级与超越当下AI与数据库的融合已成为推动数据管理和分析领域发展的重要力量。传统的数据库查询方式，如结构化查询语言（SQL），要求用户具备专业的数据库知识，这无疑限制了非专业人士对数据的访问和利用。为了打破这一壁垒，AI驱动的数据库查询方法应运而生，其中Text2SQL和检索增强生成（RAG）（微软最新研究：RAG（Retrieval-Augmented Generation）的四个级别深度解析）是两种具有代表性的技术。然而，这两种方法在实际应用中均存在局限性，促使研究人员探索更为强大和灵活的框架。今天我们一起了解

大模型之路

TrustRAG：增强RAG系统鲁棒性与可信度的创新框架在人工智能飞速发展的今天，大语言模型（LLMs）凭借其强大的语言处理能力在诸多领域大放异彩。检索增强生成（RAG）系统（面向企业RAG（Retrieval Augmented Generation）系统的多维检索框架）的出现，通过整合外部知识源进一步提升了 LLMs 的性能，使其能针对用户查询提供更准确、更具上下文相关性的回答，在众多知名应用中得到广泛采用。然而，这一系统并非坚不可摧，语料库中毒攻击成为了严重威胁其性能的安全隐患。在此背景下，TrustRAG 应运而生，为解决 RAG 系统的安全问题提供了

Agentic RAG 解释RAG（检索增强生成）通过提供来自外部知识源的相关背景来帮助提高 LLM 答案的准确性和可靠性。Agentic RAG 是高级 RAG 版本，它使用 AI 代理来更加自主地行动。

RAG Logger：RAG日志记录工具您听说过 RAG Logger 吗？它是一款专为检索增强生成 (RAG) 应用程序设计的开源日志记录工具！据说它可以作为 LangSmith 的轻量级替代方案，满足 RAG 特定的日志记录需求。查询、搜索结果、LLM 交互和性能指标可以以 JSON 格式记录。

使用 `llama_index` 构建智能问答系统：多种文档切片方法的评估在现代自然语言处理（NLP）应用中，构建一个高效的问答系统是一个常见的需求。llama_index 是一个强大的工具，可以帮助我们快速构建基于文档的问答系统。本文将介绍如何优化和解析一个基于 llama_index 的问答系统代码，并逐步解析其核心功能。

高级RAG技巧(二)检索增强生成 (RAG)将文档检索与自然语言生成相结合，创建更准确、更具情境感知的响应。虽然基本 RAG 很有效，但它在处理复杂查询、幻觉以及在多轮对话中维持上下文方面存在困难。

【大模型实战篇】Mac本地部署RAGFlow的踩坑史最近一篇文章还是在11月30日写的，好长时间没有打卡了。最近工作上的事情特别多，主要聚焦在大模型的预训练、微调和RAG两个方面。主要用到的框架是Megatron-DeepSpeed，后续会带来一些分享。今天的文章主要聚焦在RAG。

2024年RAG：回顾与展望2024年，RAG（Retrieval-Augmented Generation）技术经历了从狂热到理性的蜕变，成为大模型应用领域不可忽视的关键力量。年初，AI的“无所不能”让市场充满乐观情绪，RAG被视为解决复杂问题的万能钥匙；然而，随着技术落地和实际应用的深入，行业逐渐回归理性，开始聚焦于小而难的具体场景，追求技术的实用性和稳定性。

三大行业案例：AI大模型+Agent实践全景本文将从AI Agent和大模型的发展背景切入，结合51Talk、哈啰出行以及B站三个各具特色的行业案例，带你一窥事件驱动架构、RAG技术、人机协作流程，以及一整套行之有效的实操方法。具体包含内容有：51Talk如何让智能客服“主动进攻”，带来约课率、出席率双提升；哈啰出行如何由Copilot模式升级为Agent模式，并应用到客服、营销策略生成等多个业务场景；B站又是如何借力大模型与RAG方法，引爆了平台的高效内容检索和强互动用户体验。

爆改RagFlow由近期 RAGFlow 的火爆看 RAG 的现状与未来参考：深度解读RAGFlow的深度文档理解DeepDoc

5个开源RAG框架对比还在为RAG应用开发头疼吗？别急，今天给大家推荐五款完全开源免费的RAG框架，覆盖自动优化、多模态处理、本地部署、生产环境支持等多种场景，助你轻松搞定RAG开发！👇

OceanBase数据库官方博客

向量检索+大语言模型，免费搭建基于专属知识库的 RAG 智能助手随着生成式人工智能技术的飞速发展，越来越多的人和企业开始应用AI到日常的工作和生活中。但公域的AI助手其数据来自互联网上的大量公开文本，虽然具有广泛的知识，但在面对一些特定领域的专业问题时，可能会出现回答不够准确或深入的情况，需要用户自行甄别和进一步研究。因此，也有很多企业开始研究基于向量检索的能力实现检索增强生成（RAG）架构的智能助手。

西西弗Sisyphus

RAGFlow 基于深度文档理解构建的开源 RAG引擎 - 安装部署flyfish这是指要调整Linux内核参数vm.max_map_count，以确保其值至少为262144。这个参数控制着进程可以映射的最大内存区域数量。对于某些应用程序（如Elasticsearch），设置一个较高的值是必要的，因为它需要大量的内存映射。

西西弗Sisyphus

RAGFlow 基于深度文档理解构建的开源 RAG引擎 - 在 Ubuntu 上安装 Docker Engineflyfish文本依据的是警告在安装 Docker 之前，请务必考虑以下安全影响和防火墙不兼容性：如果你使用 ufw 或 firewalld 来管理防火墙设置，需注意当你通过 Docker 暴露容器端口时，这些端口会绕过你的防火墙规则。更多信息，请参见 Docker 和 ufw。 Docker 仅与 iptables-nft 和 iptables-legacy 兼容。由 nft 创建的防火墙规则在安装了 Docker 的系统上不受支持。请确保你使用的任何防火墙规则集都是用 iptables 或 ip6