rag

小易老师AI实战3 小时前
大模型·rag·大模型推理·推理加速·kv 缓存·token 优化·llm 降本
大模型Token成本优化指南:彻底解决推理成本高、响应慢问题(企业落地完整版)摘要:企业落地大模型业务时,推理成本居高不下、接口响应延迟高、Token资源严重浪费是三大核心痛点。绝大多数AI项目存在30%-70%的无效Token消耗,未做任何精细化优化,导致业务盈利空间被压缩、用户体验变差。本文从企业真实落地场景出发,系统性总结Token浪费核心场景,详解分词优化、上下文裁剪、推理缓存、大小模型分流四大核心优化方案,附带可直接落地的工程策略、代码片段及优化前后量化数据对比,是一套通用、可复用、高收益的企业AI降本提速完整方案。
流浪0013 小时前
llm·向量数据库·rag·rag数据库入库
大模型技术全景(二十二):RAG 数据入库与向量数据库📚 本文收录于「流浪」的系列专栏🏠 博客主页:流浪 | 📝 原创首发于 CSDN上一篇我们把嵌入这件事讲透了:文本被转成一列数字,语义相近的对象在向量空间里靠得更近,相似度用什么距离算、模型怎么选,都是那一篇的事。向量算出来之后还面临一个很现实的问题——它得有地方放。放内存里进程一重启就没了,放普通数据库里又查不动,因为「找出最相似的十条」这种问题,传统数据库的索引结构根本答不上来。本篇接着讲知识库构建的最后一环:数据入库,也就是向量存到哪、一条记录里到底要存哪些东西。
飞鸟真人4 小时前
rag·ollama·qdrant·医学问答
RAG入门(一)用Qdrant和ollama做一个简单的医学问答软件目录1. 下载医学答问库📊 主要中文医疗数据集对比2. 安装ollama💡 安装时留意一下2.1 ollama + 关键字搜索 + 整理
@atweiwei4 小时前
人工智能·算法·ai·语言模型·rag
训练 AI 大模型系列之 LoRA:不动模型本体,靠一条低秩旁路改专长(附完整手算算例)适用读者:会用 peft/transformers 调模型、但不太清楚 LoRA 内部到底在干嘛的同学。 本文不讲玄学比喻,把每一步拆成能算的数,配一个最小玩具例子从头算到尾。
VIP_CQCRE18 小时前
docker·ai·rag·open webui·ace data cloud
给团队搭一个 AI 工作台:Open WebUI 接入 Ace Data Cloud 实战想让团队在自己的界面里聊天、切换模型,进一步试用知识库问答,又不想从零开发前端?Open WebUI 提供多用户与知识库等能力;Ace Data Cloud 提供 OpenAI 兼容接口。把两者接起来,先跑通一条对话,再逐步验证团队场景,是一条清晰的路径。
for_ever_love__1 天前
人工智能·golang·langchain·rag·langgraph·agentic·自适应检索
LangChain Agentic RAG:让 Agent 自己决定要不要检索、检索几次传统 RAG 是"问一次,检索一次,答一次"的固定流程。 但很多问题根本不是一次检索能解决的: “对比一下 2023 和 2024 年的差旅制度有什么变化”—— 这需要检索两次,还得分别定位两个版本。
小易老师AI实战1 天前
llm·rag·大模型应用·aiagent·智能体工程化
AI Agent 完整实战:记忆机制 + 任务拆解 + 自动执行过去两年,大量AI Agent项目停留在Demo演示:简单调用LLM、一次性prompt完成问答,一旦任务复杂、会话变长、需要跨轮次持续执行就会失效。 到2026年,AI Agent的竞争不再是“能不能跑起来”,而是稳定执行长任务、可控记忆管理、Token成本可控、异常可重试。一套能落地的Agent,离不开三大底座:记忆系统、任务规划器、执行器。
for_ever_love__1 天前
数据库·sql·langchain·大模型·agent·rag·问答
LangChain Text-to-SQL:让不会写 SQL 的人查数据库“上个月华东区销售额前三的产品是哪些?”—— 业务同事每天都要问这类问题,每次都得找数据分析师写 SQL。
流浪0012 天前
llm·rag·文本分块·语义完整性
大模型技术全景(二十):RAG 文本分块策略与语义完整性📚 本文收录于「流浪」的系列专栏🏠 博客主页:流浪 | 📝 原创首发于 CSDN篇十九解决的是 「文档怎么变成结构化文本」 ——PDF 的绘图指令被还原成带标题、带表格的 Markdown。文本到手之后还差一步才能入库:一本教材几百页、一份说明书几十页,整篇丢进检索和生成都不现实。本篇拆 RAG 的第二个环节——文本分块:它为什么躲不开,六种策略各自是什么脾气,以及六种放在一张表上该怎么选。
小易老师AI实战2 天前
rag·检索增强生成·大模型工程化·知识库系统·企业级大模型落地
企业生产级RAG知识库搭建实战:解决大模型幻觉与检索失效问题在大模型企业落地场景中,RAG检索增强生成是应用最广泛、落地成本最低的核心方案,广泛用于企业内部文档问答、业务知识库、智能客服、资料检索答疑等场景。但绝大多数企业初期落地的基础RAG架构,仅能实现基础Demo演示,一旦接入真实业务文档、面向用户正式上线,就会暴露各类生产问题。
智码看视界3 天前
embedding·milvus·向量数据库·chroma·rag·语义检索·选型对比
向量数据库选型实战:Milvus vs Chroma vs Qdrant 谁更适合 RAGRAG 系统真到生产才发现有 N 个坑,向量库选型不能只看 benchmark。RAG 系统的向量库,真到生产才发现有 N 个坑。先定义 5 个选型维度:
宇擎智脑科技3 天前
人工智能·rag·sirchmunk
Sirchmunk 深度解析(一):一个无需向量数据库的自进化搜索引擎架构设计本文对 ModelScope 开源项目 Sirchmunk 进行系统性的架构分析,重点剖析其"无索引检索"与"自进化知识图谱"两大核心设计理念的技术实现。
东莞市云毅网络有限公司4 天前
python·数据清洗·rag·企业知识库·文档解析
AI 引用句逐条回指原文:让回答可回溯的校验实现一段生成式回答读起来通顺,和它是否站得住,是两件事。「主力机型质保三年,全国设有一百二十个服务网点」,句子漂亮,只要没有任何一份原文能对上,它就是一条无法核对的说法。可回溯校验要做的,是把回答逐句拆开,再让每一句回到原始资料里找到出处。
我不会起名字3224 天前
大模型·向量检索·切片·rag·召回率
RAG 召回不准到底该改哪一环?切片、检索器、重排的 25 题实测与 6 步排查表我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈 | 🧩 力扣 Hot100 | 🐹 Go 项目 | 🟥 Redis | 🐬 MySQL
流浪0014 天前
llm·大语言模型·rag
大模型技术全景(十八):RAG 检索增强生成与知识时效性问题📚 本文收录于「流浪」的系列专栏🏠 博客主页:流浪 | 📝 原创首发于 CSDN篇十七把幻觉的根因拆成了三层,「知识缺、知识旧」 那一层留给工程去治,治它的主流架构就是 RAG。但企业真正卡住的地方往往不是模型不够聪明,而是知识在自己手里、模型碰不到。本篇讲 RAG 是什么、为什么非它不可、哪些场景已经跑出了可核实的数字。
做个文艺程序员4 天前
minio·向量数据库·ai大模型·rag·springai·pgvector
MinIO第07篇:基于MinIO + Spring AI + pgvector构建RAG知识库(Java全栈实战)系列导读:前六篇我们完成了从架构认知、Spring Boot集成、大文件分片上传、多租户隔离、事件驱动架构到分布式部署的完整链路。这一篇是系列的收官之作,我们将把MinIO从“文件存储工具”升级为“AI数据底座”——用Spring Boot 3 + Spring AI + MinIO + PostgreSQL/pgvector构建一个完整的RAG(检索增强生成)知识库系统。
天堂 沙县小吃5 天前
rag
RAG 进入 2.0 时代:从传统 RAG 到 Agentic RAG——检索增强生成的新范式大语言模型擅长组织语言,却无法天然掌握企业私有数据,也无法保证参数中的知识始终准确、及时。RAG(Retrieval-Augmented Generation,检索增强生成)的核心价值,就是在生成答案之前引入外部知识,让模型尽可能“有据可依”。
互联网叫兽6 天前
ai·llm·rag
RAG 知识库-基于元数据的细粒度权限控制在企业级 RAG(检索增强生成)应用中,知识库权限控制是一个绕不开的话题。传统的权限模型通常停留在知识库级别——一个用户要么能访问整个知识库,要么完全不能访问。
XLYcmy6 天前
python·pdf·llm·agent·dify·rag·harness
PDF 论文处理器 — 改进方向与建议文档文档性质:局限性诊断 + 可落地优化方案 + 重构路线图requirements.txt 声明 pandas==2.2.0,但全项目无任何 import pandas(pdf_extractor.py 用 fitz、output_manager.py 用标准库 csv/json)。
寻道码路7 天前
大模型·agent·信创·rag·ai工程化·国产化替代·政企ai落地
大模型工程化实战(十六):政企国产化避坑——合规/信创名录/私有化运维/国产硬件适配/原厂支持这五道关怎么过上一篇《开源工具箱 30+ 选型地图》结尾我留了一句话:“这张地图上,‘国产化 / 私有化’是一整根约束轴……下一篇《政企国产化避坑》:地图上标了国产化的那些格,背后的坑单独一篇来讲。”今天来还这笔账。