技术栈
rag
小易老师AI实战
3 小时前
大模型
·
rag
·
大模型推理
·
推理加速
·
kv 缓存
·
token 优化
·
llm 降本
大模型Token成本优化指南:彻底解决推理成本高、响应慢问题(企业落地完整版)
摘要:企业落地大模型业务时,推理成本居高不下、接口响应延迟高、Token资源严重浪费是三大核心痛点。绝大多数AI项目存在30%-70%的无效Token消耗,未做任何精细化优化,导致业务盈利空间被压缩、用户体验变差。本文从企业真实落地场景出发,系统性总结Token浪费核心场景,详解分词优化、上下文裁剪、推理缓存、大小模型分流四大核心优化方案,附带可直接落地的工程策略、代码片段及优化前后量化数据对比,是一套通用、可复用、高收益的企业AI降本提速完整方案。
流浪001
3 小时前
llm
·
向量数据库
·
rag
·
rag数据库入库
大模型技术全景(二十二):RAG 数据入库与向量数据库
📚 本文收录于「流浪」的系列专栏🏠 博客主页:流浪 | 📝 原创首发于 CSDN上一篇我们把嵌入这件事讲透了:文本被转成一列数字,语义相近的对象在向量空间里靠得更近,相似度用什么距离算、模型怎么选,都是那一篇的事。向量算出来之后还面临一个很现实的问题——它得有地方放。放内存里进程一重启就没了,放普通数据库里又查不动,因为「找出最相似的十条」这种问题,传统数据库的索引结构根本答不上来。本篇接着讲知识库构建的最后一环:数据入库,也就是向量存到哪、一条记录里到底要存哪些东西。
飞鸟真人
4 小时前
rag
·
ollama
·
qdrant
·
医学问答
RAG入门(一)用Qdrant和ollama做一个简单的医学问答软件
目录1. 下载医学答问库📊 主要中文医疗数据集对比2. 安装ollama💡 安装时留意一下2.1 ollama + 关键字搜索 + 整理
@atweiwei
4 小时前
人工智能
·
算法
·
ai
·
语言模型
·
rag
训练 AI 大模型系列之 LoRA:不动模型本体,靠一条低秩旁路改专长(附完整手算算例)
适用读者:会用 peft/transformers 调模型、但不太清楚 LoRA 内部到底在干嘛的同学。 本文不讲玄学比喻,把每一步拆成能算的数,配一个最小玩具例子从头算到尾。
VIP_CQCRE
18 小时前
docker
·
ai
·
rag
·
open webui
·
ace data cloud
给团队搭一个 AI 工作台:Open WebUI 接入 Ace Data Cloud 实战
想让团队在自己的界面里聊天、切换模型,进一步试用知识库问答,又不想从零开发前端?Open WebUI 提供多用户与知识库等能力;Ace Data Cloud 提供 OpenAI 兼容接口。把两者接起来,先跑通一条对话,再逐步验证团队场景,是一条清晰的路径。
for_ever_love__
1 天前
人工智能
·
golang
·
langchain
·
rag
·
langgraph
·
agentic
·
自适应检索
LangChain Agentic RAG:让 Agent 自己决定要不要检索、检索几次
传统 RAG 是"问一次,检索一次,答一次"的固定流程。 但很多问题根本不是一次检索能解决的: “对比一下 2023 和 2024 年的差旅制度有什么变化”—— 这需要检索两次,还得分别定位两个版本。
小易老师AI实战
1 天前
llm
·
rag
·
大模型应用
·
aiagent
·
智能体工程化
AI Agent 完整实战:记忆机制 + 任务拆解 + 自动执行
过去两年,大量AI Agent项目停留在Demo演示:简单调用LLM、一次性prompt完成问答,一旦任务复杂、会话变长、需要跨轮次持续执行就会失效。 到2026年,AI Agent的竞争不再是“能不能跑起来”,而是稳定执行长任务、可控记忆管理、Token成本可控、异常可重试。一套能落地的Agent,离不开三大底座:记忆系统、任务规划器、执行器。
for_ever_love__
1 天前
数据库
·
sql
·
langchain
·
大模型
·
agent
·
rag
·
问答
LangChain Text-to-SQL:让不会写 SQL 的人查数据库
“上个月华东区销售额前三的产品是哪些?”—— 业务同事每天都要问这类问题,每次都得找数据分析师写 SQL。
流浪001
2 天前
llm
·
rag
·
文本分块
·
语义完整性
大模型技术全景(二十):RAG 文本分块策略与语义完整性
📚 本文收录于「流浪」的系列专栏🏠 博客主页:流浪 | 📝 原创首发于 CSDN篇十九解决的是 「文档怎么变成结构化文本」 ——PDF 的绘图指令被还原成带标题、带表格的 Markdown。文本到手之后还差一步才能入库:一本教材几百页、一份说明书几十页,整篇丢进检索和生成都不现实。本篇拆 RAG 的第二个环节——文本分块:它为什么躲不开,六种策略各自是什么脾气,以及六种放在一张表上该怎么选。
小易老师AI实战
2 天前
rag
·
检索增强生成
·
大模型工程化
·
知识库系统
·
企业级大模型落地
企业生产级RAG知识库搭建实战:解决大模型幻觉与检索失效问题
在大模型企业落地场景中,RAG检索增强生成是应用最广泛、落地成本最低的核心方案,广泛用于企业内部文档问答、业务知识库、智能客服、资料检索答疑等场景。但绝大多数企业初期落地的基础RAG架构,仅能实现基础Demo演示,一旦接入真实业务文档、面向用户正式上线,就会暴露各类生产问题。
智码看视界
3 天前
embedding
·
milvus
·
向量数据库
·
chroma
·
rag
·
语义检索
·
选型对比
向量数据库选型实战:Milvus vs Chroma vs Qdrant 谁更适合 RAG
RAG 系统真到生产才发现有 N 个坑,向量库选型不能只看 benchmark。RAG 系统的向量库,真到生产才发现有 N 个坑。先定义 5 个选型维度:
宇擎智脑科技
3 天前
人工智能
·
rag
·
sirchmunk
Sirchmunk 深度解析(一):一个无需向量数据库的自进化搜索引擎架构设计
本文对 ModelScope 开源项目 Sirchmunk 进行系统性的架构分析,重点剖析其"无索引检索"与"自进化知识图谱"两大核心设计理念的技术实现。
东莞市云毅网络有限公司
4 天前
python
·
数据清洗
·
rag
·
企业知识库
·
文档解析
AI 引用句逐条回指原文:让回答可回溯的校验实现
一段生成式回答读起来通顺,和它是否站得住,是两件事。「主力机型质保三年,全国设有一百二十个服务网点」,句子漂亮,只要没有任何一份原文能对上,它就是一条无法核对的说法。可回溯校验要做的,是把回答逐句拆开,再让每一句回到原始资料里找到出处。
我不会起名字322
4 天前
大模型
·
向量检索
·
切片
·
rag
·
召回率
RAG 召回不准到底该改哪一环?切片、检索器、重排的 25 题实测与 6 步排查表
我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈 | 🧩 力扣 Hot100 | 🐹 Go 项目 | 🟥 Redis | 🐬 MySQL
流浪001
4 天前
llm
·
大语言模型
·
rag
大模型技术全景(十八):RAG 检索增强生成与知识时效性问题
📚 本文收录于「流浪」的系列专栏🏠 博客主页:流浪 | 📝 原创首发于 CSDN篇十七把幻觉的根因拆成了三层,「知识缺、知识旧」 那一层留给工程去治,治它的主流架构就是 RAG。但企业真正卡住的地方往往不是模型不够聪明,而是知识在自己手里、模型碰不到。本篇讲 RAG 是什么、为什么非它不可、哪些场景已经跑出了可核实的数字。
做个文艺程序员
4 天前
minio
·
向量数据库
·
ai大模型
·
rag
·
springai
·
pgvector
MinIO第07篇:基于MinIO + Spring AI + pgvector构建RAG知识库(Java全栈实战)
系列导读:前六篇我们完成了从架构认知、Spring Boot集成、大文件分片上传、多租户隔离、事件驱动架构到分布式部署的完整链路。这一篇是系列的收官之作,我们将把MinIO从“文件存储工具”升级为“AI数据底座”——用Spring Boot 3 + Spring AI + MinIO + PostgreSQL/pgvector构建一个完整的RAG(检索增强生成)知识库系统。
天堂 沙县小吃
5 天前
rag
RAG 进入 2.0 时代:从传统 RAG 到 Agentic RAG——检索增强生成的新范式
大语言模型擅长组织语言,却无法天然掌握企业私有数据,也无法保证参数中的知识始终准确、及时。RAG(Retrieval-Augmented Generation,检索增强生成)的核心价值,就是在生成答案之前引入外部知识,让模型尽可能“有据可依”。
互联网叫兽
6 天前
ai
·
llm
·
rag
RAG 知识库-基于元数据的细粒度权限控制
在企业级 RAG(检索增强生成)应用中,知识库权限控制是一个绕不开的话题。传统的权限模型通常停留在知识库级别——一个用户要么能访问整个知识库,要么完全不能访问。
XLYcmy
6 天前
python
·
pdf
·
llm
·
agent
·
dify
·
rag
·
harness
PDF 论文处理器 — 改进方向与建议文档
文档性质:局限性诊断 + 可落地优化方案 + 重构路线图requirements.txt 声明 pandas==2.2.0,但全项目无任何 import pandas(pdf_extractor.py 用 fitz、output_manager.py 用标准库 csv/json)。
寻道码路
7 天前
大模型
·
agent
·
信创
·
rag
·
ai工程化
·
国产化替代
·
政企ai落地
大模型工程化实战(十六):政企国产化避坑——合规/信创名录/私有化运维/国产硬件适配/原厂支持这五道关怎么过
上一篇《开源工具箱 30+ 选型地图》结尾我留了一句话:“这张地图上,‘国产化 / 私有化’是一整根约束轴……下一篇《政企国产化避坑》:地图上标了国产化的那些格,背后的坑单独一篇来讲。”今天来还这笔账。