技术栈
rag
AI-Frontiers
3 小时前
rag
面向AIGC的检索增强生成综述
原文:https://mp.weixin.qq.com/s/Z3355OEqzJBQvqXONxgO0g
东莞市云毅网络有限公司
10 小时前
python
·
rag
·
检索
·
企业知识库
·
评测集
企业知识库问答的自动化评测:构建 golden set 与回归脚本
做企业 RAG 的人都会遇到一个共同的问题:模型升级一次、切分参数改一下、Embedding 换一版,回答就漂了。原来答得对的问题,这次开始答错;原来答错的问题,这次又"修"过头了。
东莞市云毅网络有限公司
1 天前
python
·
数据清洗
·
rag
·
企业知识库
·
文档解析
企业非结构化资料拆分成可引用片段:一套能跑通的预处理流水线
做检索增强(RAG)的人都知道一句话:检索质量的上限,是切分质量决定的。但企业侧的文档和公开语料完全不同——PDF 是扫描件混杂排版文本,Word 是十几年攒下来的各种模板,表格嵌在段落里,图片里还压着关键参数。直接按固定长度切,切出来的块要么截断在半句话上,要么把三件不相关的事揉在一起。
像风一样自由2020
2 天前
postgresql
·
大模型
·
ocr
·
rag
23.OCR在知识库中的作用扫描件和图片文字如何进入RAG
码海寻道 · 大模型、智能体与 RAG 工程组件系列第 23 篇扫描合同、发票、纸质制度、现场照片和流程图,通常没有可直接检索的文本层。OCR 的作用,就是把图像中的文字识别出来,再把识别结果接入解析、切分、向量化和检索链路。
梦想不只是梦与想
2 天前
大模型
·
agent
·
rag
大模型系列(三):提示工程、RAG 与 Agent
大模型的使用方式可以分成三个层次,难度递增,能力也递增。提示工程就是设计有效的输入(Prompt),让模型输出想要的结果。
ShallWeL
2 天前
人工智能
·
embedding
·
知识库
·
工作流
·
rag
RAG Embedding 模型替换与索引回归
摘要:《RAG 向量索引重建与回归》把索引包做成带指纹的版本制品后,下一步常是把演示用的 TF-IDF 换成真实 Embedding 模型。换模若只改配置名、不重建索引、不做双层回归,变体问法会悄悄退步。本文用同一套题集与闸门口径,演示从 tfidf_cosine_v1 替换到定长哈希 Embedding(接口对齐真实模型),并给出弱模型替换被阻断的对照;标准库即可跑通,上线时只替换向量层实现。
程序员柒叔
2 天前
人工智能
·
github
·
agent
·
dify
·
rag
Dify -- 定时任务系统
api/schedule/ 是 Dify 的定时任务中枢,基于 Celery Beat 调度器定义所有周期性后台任务。 每个文件对应一个独立的 Celery 任务,通过 api/extensions/ext_celery.py 中的 beat_schedule 注册触发频率,并由功能开关(dify_config.ENABLE_*)控制是否激活。
寻道码路
2 天前
大模型
·
agent
·
mlops
·
rag
·
ai工程化
·
langfuse
·
llm可观测
大模型工程化实战(八):OTel + LangFuse 全链路 Trace——把网关、护栏、SchemaGate 全部打点串起来,出问题一眼定位到环节
凌晨一点,schema_validation_exhausted 这条结构化告警第三次亮起。下游没崩、没有 500,可“为什么偏偏这单走兜底”连我也答不上来:网关日志显示主路超时、重试 2 次兜到 gpt4;护栏日志显示 medium 风险 strip 放行;SchemaGate 日志显示缺“金额”字段、类型错、重试耗尽。三份日志都对,时间戳也对得上,人肉拼了两小时才凑出因果链。全链路 Trace 治的就是这个毛病:可观测不等于“每环节都打日志”,得把第 5 篇《LLM 网关选型》、第 6 篇《OWASP
uncle_ll
3 天前
llm
·
agent
·
智能客服
·
rag
·
llamaindex
智能客服实践:微调+RAG双引擎架构落地
在企业垂直问答、智能客服落地场景中,单一微调或纯RAG架构均存在明显短板:小样本微调泛化性存疑、无法适配动态数据;纯RAG检索精度不足、固定话术回答生硬。
甜辣uu
4 天前
人工智能
·
性能优化
·
大模型
·
llm
·
agent
·
rag
·
智能体
智能体Agent性能优化从原理到实战
文章定位:CSDN爆款技术博文,面向大模型应用开发者、算法工程师、Agent落地从业者;覆盖RAG优化、提示词工程、工具调用、记忆机制、多智能体协作、成本延迟优化、评测体系七大维度,附完整可运行代码与踩坑总结。复制全部内容保存为.md直接粘贴CSDN编辑器即可发布,图片位置标记【图X:xxx】,用Mermaid或AI绘图生成对应图插入即可。
云烟成雨TD
4 天前
ai
·
agent
·
rag
·
llamaindex
LlamaIndex 系列【21】语义检索(Semantic Search)
BM25、TF‑IDF 都属于关键词检索(词法检索),只做字面词汇匹配:关键词检索只在乎单词是否出现过,并不读懂文字背后真正的语义。想要解决这个短板,就要依靠语义检索。
云烟成雨TD
4 天前
ai
·
agent
·
rag
·
llamaindex
LlamaIndex 系列【20】关键词检索(Keyword Search):BM 25 算法
BM25 是生产环境标准关键词检索算法,ElasticSearch 默认的关键字检索算法是就是 BM25(Best Matching 25),从 5.x 版本开始取代了早期的 TF-IDF,成为默认的相关性评分算法。
ShallWeL
4 天前
人工智能
·
agent
·
知识库
·
工作流
·
rag
RAG 向量索引重建与回归
摘要:《RAG 关键词检索与向量检索的切换边界》给出了切换建议,《RAG 文档更新后的全链路闸门验收》把五段闸门串成发布流水线。真正启用向量检索后,文档与扩展表一变,旧索引包仍在线上服务,变体问法会悄悄退步。本文说明如何把向量索引做成可版本化的索引包:写入文档指纹与扩展表指纹、检测漂移、重建后做原话层与变体层回归,并用闸门输出 VECTOR_INDEX_ALLOWED 或 VECTOR_INDEX_BLOCKED;标准库即可跑通。
虎虎(_ _)。゜zzZ
5 天前
数据库
·
人工智能
·
大模型
·
向量数据库
·
rag
·
qdrant
Qdrant向量数据库工程实战
做 RAG 检索增强生成,向量库是绕不开的一环。市面上选择不少——Chroma 轻量但扛不住并发,Milvus 功能全但部署重,pgvector 复用 PostgreSQL 但检索性能有天花板。
森山冶仁
5 天前
人工智能
·
智能问答
·
rag
·
企业知识库
·
大模型落地
·
ai治理
治理知识库构建:用 RAG 把制度、文档、经验变成 AI 能力
绝大多数企业的治理能力,都死在「文档堆积、经验流失、制度没人看、规范没人懂」。企业沉淀了海量制度文件、治理规范、数据标准、操作手册、复盘经验,但全部躺在网盘、Wiki、共享文件夹里,无法检索、无法落地、无法赋能业务。
云烟成雨TD
6 天前
ai
·
agent
·
rag
·
llamaindex
LlamaIndex 系列【14】数据接入流水线(IngestionPipeline)
数据接入流水线(IngestionPipeline)是指 LlamaIndex 中专门用来把原始文档变成可检索 Node 的一站式处理链路。
武哥聊编程
6 天前
springboot
·
rag
·
pgvector
·
langchain4j
【AI实战项目】基于LangChain4j+Springboot+Vue+RAG+PGVector的AI智能客服与工单处理系统
该项目资料获取请点击上方⬆️卡片,然后进入【AI实战库】板块即可搜索到。B站演示视频 https://www.bilibili.com/video/BV1pEhV64ERV
circuitsosk
7 天前
python
·
知识库问答
·
rag
·
面试项目
·
ai工程化
·
混合检索
企业知识库 RAG 从 62% 到 91%:分块策略、混合检索与重排序的调优全记录
之前面试时我发现一个尴尬的事实:会调 ChatGPT API 的人太多了,但能把自己做过的项目讲出"实验—对比—结论"的人很少。面试官最爱问的一句话是:“你这个准确率是怎么来的?提升是靠感觉还是靠实验?”
寻道码路
7 天前
大模型
·
agent
·
rag
·
json schema
·
ai工程化
·
llmops`
大模型工程化实战(七):JSON Schema 强约束——模型吐的 json 不合规?schema 校验不通过,重试、兜底、降级一条龙
客服 AI 念身份证的事过去一周,脱敏闸挂上了,泄露是不泄露了。可上线第四周,数据组来拍桌子:模型把“金额”吐成字符串 “¥1,234”(schema 要的是 number),“是否退款”整个字段丢了,还自作主张加了个 schema 里根本没有的“运费”。下游 json.loads 直接崩,pandas 读出来一片 NaN。
weixin_44021329
7 天前
agent
·
pdf解析
·
rag
·
检索增强生成
Agent‑RAG 处理复杂 PDF:从 Demo 走向生产级
摘要:在 RAG 项目开发中,直接把 PDF 转纯文本再切片,是 Demo 级别的简单做法。面对真实业务 PDF:多栏排版、表格、扫描件、图表、合同层级页眉页脚,简单文本切片会带来上下文断裂、表格信息损坏、无法溯源等一系列问题。本文梳理工业界 Agent+RAG 处理 PDF 的四层架构,讲清楚生产环境 PDF RAG 完整落地思路,同时说明如何规避大模型幻觉问题。