技术栈
rag
余槐i
11 小时前
性能优化
·
大模型
·
api
·
rag
·
ollama
Ollama 长文档问答后半段全空:context 默认值与静默截断的代价
本文摘要:Ollama 默认 num_ctx 为 4096,长文档超窗部分被静默截断,后半段无法引用。对比 prompt_eval_count 与预期 token 数即可发现截断,显式调大窗口即可修复。
像风一样自由2020
11 小时前
人工智能
·
架构
·
大模型
·
rag
·
智能体
55.从零搭建一个企业文档问答系统总体架构与技术选型
码海寻道 · 大模型、智能体与 RAG 工程组件系列第 55 篇企业文档问答系统不是“上传文件加一个聊天框”。它需要处理文档版本、权限、异步解析、向量检索、引用、监控、成本和安全。本篇先给出一套完整架构,再说明如何按阶段落地。
for_ever_love__
12 小时前
人工智能
·
学习
·
langchain
·
rag
·
评估
·
langsmith
·
评测指标
LangChain 效果评测:没有评测,优化就是在瞎调
改了切分参数,感觉"好像好了一点"; 换了 embedding 模型,觉得"似乎更准了"。 这些"感觉"是不可靠的,而且每一次改动都可能悄悄让另一类问题变差。
做个文艺程序员
13 小时前
人工智能
·
架构
·
rocketmq
·
向量数据库
·
rag
·
ai客服
·
spring ai
MQ第10篇:RAG与消息队列实战:Java构建AI客服系统的检索增强生成完整架构
摘要:本文深入RAG(检索增强生成)的工程实现,用Spring AI的VectorStore + RetrievalAugmentationAdvisor + RocketMQ构建完整的AI客服系统架构。从“不是让AI记住所有知识,而是开卷考试”的核心原理讲起,拆解知识库异步更新管道和用户请求异步处理链路,用RocketMQ LiteTopic实现多租户SaaS下的会话级隔离。全文配架构图、时序图、可直接运行的Spring Boot代码,以及5个生产环境必知的核心决策点。适合正在构建企业级AI客服、智能问
东莞市云毅网络有限公司
15 小时前
python
·
数据清洗
·
rag
·
企业知识库
·
文档解析
用 Python 给官网做字段级变更监控:快照、比对与变更清单
页面改版没人察觉、字段写错要几个月后才被发现,这两件事在同一套监控里经常被搞反。用整页哈希或全文比对做变更检测,头一轮就会告警几十条:模板加了脚本、页脚换了年份、推荐位换了展示对象,全都算变更。真正出问题的那一次——服务半径从「珠三角」写成「全国」——反而埋在噪声里。
流浪001
15 小时前
llm
·
rag
·
advanced rag
·
naive rag
·
graph rag
·
modular rag
大模型技术全景(二十四):RAG 发展的四种基础范式与未来趋势
📚 本文收录于「流浪」的系列专栏🏠 博客主页:流浪 | 📝 原创首发于 CSDN前面几篇走完了 RAG 的完整链路:文档加载、分块、嵌入、入库,到用户提问、向量化、检索、增强、生成。这条链路是一种「标准做法」,但它并不是唯一做法——RAG 从 2020 年提出到现在,已经分化出一整套范式,每一代都在补上一代暴露出来的短板。本篇按它的发展脉络拆四种基础范式:朴素 RAG、高级 RAG、模块化 RAG、基于图的 RAG,每种都讲清楚它解决什么问题、代价是什么、适合什么场景,最后给出未来可能的发展趋势。
流浪001
2 天前
llm
·
rag
·
提示词增强
·
rag检索
大模型技术全景(二十三):RAG 应用阶段的检索、提示词增强与生成
📚 本文收录于「流浪」的系列专栏🏠 博客主页:流浪 | 📝 原创首发于 CSDN上一篇把知识库构建阶段的最后一环讲完了:向量连同原文和元数据一起落进向量库, 四段字段各管一件事,选型看规模、运维和技术栈。库建好之后,真正的使用阶段才刚开始——用户敲一句话进来,系统要把它变成向量、在库里捞出最相关的几块、把这几块和原来的问题揉成一个像样的提示词,最后交给大模型写出答案。本篇就走一遍这条线:用户查询、查询向量化、向量检索、提示词增强、大模型生成,也就是 RAG 里 R 到 G 的完整过程。
梦想的颜色
2 天前
数据库
·
milvus
·
chroma
·
rag
·
pgvector
·
向量库
·
qdrant
【AI速览】RAG 向量数据库选型:Milvus、Chroma、Qdrant、PGVector 全维度横向对比
RAG 系统的瓶颈往往不在大模型,而在检索层。很多团队 POC 阶段随便选 Chroma,上线直接翻车;已有 Postgres 的团队盲目上 Milvus,引入一堆中间件,运维成本爆炸。
衡石科技
2 天前
java
·
大数据
·
人工智能
·
数据分析
·
rag
从语义准备到模型验收:HENGSHI SENSE Data Agent 的 RAG 与部署工程实践
摘要:企业级数据问答的难点不在于把一句自然语言送进大模型,而在于让系统在既定的数据范围、业务口径和权限边界内给出可核验的结果。HENGSHI SENSE 的 Data Agent 将数据语义准备、向量检索、模型调用和数据查询组织成一条可运维链路。本文以当前公开的 6.2 手册为配置基线,结合公开发布说明中列出的 6.3.2 与 6.2.5 版本,说明向量服务如何交付和升级,RAG 在链路中解决什么问题,以及模型、提示词、权限和验收应如何一起落地。实际部署仍应以现场所用版本的发布说明、交付包和启动日志为准。
wewowilling
2 天前
大模型
·
agent
·
知识库
·
rag
·
coze
RAG知识库--coze
真服了这ai还乱编问题所在 知识过时,无法回答 用户体验差 Bot价值大打折扣直接将用户的问题(query)送入LLM(大模型)得到结果
熊出没
2 天前
人工智能
·
安全
·
架构设计
·
rag
·
ai agent
AI Agent 生产级架构设计:工具调用与MCP、RAG、安全护栏与评估体系
适合谁读:正在把大模型能力接入业务系统、需要把 Agent 从 Demo 推向生产的后端工程师和架构师。
小易老师AI实战
3 天前
大模型
·
rag
·
大模型推理
·
推理加速
·
kv 缓存
·
token 优化
·
llm 降本
大模型Token成本优化指南:彻底解决推理成本高、响应慢问题(企业落地完整版)
摘要:企业落地大模型业务时,推理成本居高不下、接口响应延迟高、Token资源严重浪费是三大核心痛点。绝大多数AI项目存在30%-70%的无效Token消耗,未做任何精细化优化,导致业务盈利空间被压缩、用户体验变差。本文从企业真实落地场景出发,系统性总结Token浪费核心场景,详解分词优化、上下文裁剪、推理缓存、大小模型分流四大核心优化方案,附带可直接落地的工程策略、代码片段及优化前后量化数据对比,是一套通用、可复用、高收益的企业AI降本提速完整方案。
流浪001
3 天前
llm
·
向量数据库
·
rag
·
rag数据库入库
大模型技术全景(二十二):RAG 数据入库与向量数据库
📚 本文收录于「流浪」的系列专栏🏠 博客主页:流浪 | 📝 原创首发于 CSDN上一篇我们把嵌入这件事讲透了:文本被转成一列数字,语义相近的对象在向量空间里靠得更近,相似度用什么距离算、模型怎么选,都是那一篇的事。向量算出来之后还面临一个很现实的问题——它得有地方放。放内存里进程一重启就没了,放普通数据库里又查不动,因为「找出最相似的十条」这种问题,传统数据库的索引结构根本答不上来。本篇接着讲知识库构建的最后一环:数据入库,也就是向量存到哪、一条记录里到底要存哪些东西。
飞鸟真人
3 天前
rag
·
ollama
·
qdrant
·
医学问答
RAG入门(一)用Qdrant和ollama做一个简单的医学问答软件
目录1. 下载医学答问库📊 主要中文医疗数据集对比2. 安装ollama💡 安装时留意一下2.1 ollama + 关键字搜索 + 整理
@atweiwei
3 天前
人工智能
·
算法
·
ai
·
语言模型
·
rag
训练 AI 大模型系列之 LoRA:不动模型本体,靠一条低秩旁路改专长(附完整手算算例)
适用读者:会用 peft/transformers 调模型、但不太清楚 LoRA 内部到底在干嘛的同学。 本文不讲玄学比喻,把每一步拆成能算的数,配一个最小玩具例子从头算到尾。
VIP_CQCRE
3 天前
docker
·
ai
·
rag
·
open webui
·
ace data cloud
给团队搭一个 AI 工作台:Open WebUI 接入 Ace Data Cloud 实战
想让团队在自己的界面里聊天、切换模型,进一步试用知识库问答,又不想从零开发前端?Open WebUI 提供多用户与知识库等能力;Ace Data Cloud 提供 OpenAI 兼容接口。把两者接起来,先跑通一条对话,再逐步验证团队场景,是一条清晰的路径。
for_ever_love__
3 天前
人工智能
·
golang
·
langchain
·
rag
·
langgraph
·
agentic
·
自适应检索
LangChain Agentic RAG:让 Agent 自己决定要不要检索、检索几次
传统 RAG 是"问一次,检索一次,答一次"的固定流程。 但很多问题根本不是一次检索能解决的: “对比一下 2023 和 2024 年的差旅制度有什么变化”—— 这需要检索两次,还得分别定位两个版本。
小易老师AI实战
4 天前
llm
·
rag
·
大模型应用
·
aiagent
·
智能体工程化
AI Agent 完整实战:记忆机制 + 任务拆解 + 自动执行
过去两年,大量AI Agent项目停留在Demo演示:简单调用LLM、一次性prompt完成问答,一旦任务复杂、会话变长、需要跨轮次持续执行就会失效。 到2026年,AI Agent的竞争不再是“能不能跑起来”,而是稳定执行长任务、可控记忆管理、Token成本可控、异常可重试。一套能落地的Agent,离不开三大底座:记忆系统、任务规划器、执行器。
for_ever_love__
4 天前
数据库
·
sql
·
langchain
·
大模型
·
agent
·
rag
·
问答
LangChain Text-to-SQL:让不会写 SQL 的人查数据库
“上个月华东区销售额前三的产品是哪些?”—— 业务同事每天都要问这类问题,每次都得找数据分析师写 SQL。
流浪001
5 天前
llm
·
rag
·
文本分块
·
语义完整性
大模型技术全景(二十):RAG 文本分块策略与语义完整性
📚 本文收录于「流浪」的系列专栏🏠 博客主页:流浪 | 📝 原创首发于 CSDN篇十九解决的是 「文档怎么变成结构化文本」 ——PDF 的绘图指令被还原成带标题、带表格的 Markdown。文本到手之后还差一步才能入库:一本教材几百页、一份说明书几十页,整篇丢进检索和生成都不现实。本篇拆 RAG 的第二个环节——文本分块:它为什么躲不开,六种策略各自是什么脾气,以及六种放在一张表上该怎么选。