rag

像风一样自由20202 小时前
postgresql·大模型·ocr·rag
23.OCR在知识库中的作用扫描件和图片文字如何进入RAG码海寻道 · 大模型、智能体与 RAG 工程组件系列第 23 篇扫描合同、发票、纸质制度、现场照片和流程图,通常没有可直接检索的文本层。OCR 的作用,就是把图像中的文字识别出来,再把识别结果接入解析、切分、向量化和检索链路。
梦想不只是梦与想9 小时前
大模型·agent·rag
大模型系列(三):提示工程、RAG 与 Agent大模型的使用方式可以分成三个层次,难度递增,能力也递增。提示工程就是设计有效的输入(Prompt),让模型输出想要的结果。
ShallWeL10 小时前
人工智能·embedding·知识库·工作流·rag
RAG Embedding 模型替换与索引回归摘要:《RAG 向量索引重建与回归》把索引包做成带指纹的版本制品后,下一步常是把演示用的 TF-IDF 换成真实 Embedding 模型。换模若只改配置名、不重建索引、不做双层回归,变体问法会悄悄退步。本文用同一套题集与闸门口径,演示从 tfidf_cosine_v1 替换到定长哈希 Embedding(接口对齐真实模型),并给出弱模型替换被阻断的对照;标准库即可跑通,上线时只替换向量层实现。
程序员柒叔14 小时前
人工智能·github·agent·dify·rag
Dify -- 定时任务系统api/schedule/ 是 Dify 的定时任务中枢,基于 Celery Beat 调度器定义所有周期性后台任务。 每个文件对应一个独立的 Celery 任务,通过 api/extensions/ext_celery.py 中的 beat_schedule 注册触发频率,并由功能开关(dify_config.ENABLE_*)控制是否激活。
寻道码路14 小时前
大模型·agent·mlops·rag·ai工程化·langfuse·llm可观测
大模型工程化实战(八):OTel + LangFuse 全链路 Trace——把网关、护栏、SchemaGate 全部打点串起来,出问题一眼定位到环节凌晨一点,schema_validation_exhausted 这条结构化告警第三次亮起。下游没崩、没有 500,可“为什么偏偏这单走兜底”连我也答不上来:网关日志显示主路超时、重试 2 次兜到 gpt4;护栏日志显示 medium 风险 strip 放行;SchemaGate 日志显示缺“金额”字段、类型错、重试耗尽。三份日志都对,时间戳也对得上,人肉拼了两小时才凑出因果链。全链路 Trace 治的就是这个毛病:可观测不等于“每环节都打日志”,得把第 5 篇《LLM 网关选型》、第 6 篇《OWASP
uncle_ll1 天前
llm·agent·智能客服·rag·llamaindex
智能客服实践:微调+RAG双引擎架构落地在企业垂直问答、智能客服落地场景中,单一微调或纯RAG架构均存在明显短板:小样本微调泛化性存疑、无法适配动态数据;纯RAG检索精度不足、固定话术回答生硬。
甜辣uu2 天前
人工智能·性能优化·大模型·llm·agent·rag·智能体
智能体Agent性能优化从原理到实战文章定位:CSDN爆款技术博文,面向大模型应用开发者、算法工程师、Agent落地从业者;覆盖RAG优化、提示词工程、工具调用、记忆机制、多智能体协作、成本延迟优化、评测体系七大维度,附完整可运行代码与踩坑总结。复制全部内容保存为.md直接粘贴CSDN编辑器即可发布,图片位置标记【图X:xxx】,用Mermaid或AI绘图生成对应图插入即可。
云烟成雨TD2 天前
ai·agent·rag·llamaindex
LlamaIndex 系列【21】语义检索(Semantic Search)BM25、TF‑IDF 都属于关键词检索(词法检索),只做字面词汇匹配:关键词检索只在乎单词是否出现过,并不读懂文字背后真正的语义。想要解决这个短板,就要依靠语义检索。
云烟成雨TD2 天前
ai·agent·rag·llamaindex
LlamaIndex 系列【20】关键词检索(Keyword Search):BM 25 算法BM25 是生产环境标准关键词检索算法,ElasticSearch 默认的关键字检索算法是就是 ‌BM25‌(Best Matching 25),从 5.x 版本开始取代了早期的 TF-IDF,成为默认的相关性评分算法。‌‌
ShallWeL3 天前
人工智能·agent·知识库·工作流·rag
RAG 向量索引重建与回归摘要:《RAG 关键词检索与向量检索的切换边界》给出了切换建议,《RAG 文档更新后的全链路闸门验收》把五段闸门串成发布流水线。真正启用向量检索后,文档与扩展表一变,旧索引包仍在线上服务,变体问法会悄悄退步。本文说明如何把向量索引做成可版本化的索引包:写入文档指纹与扩展表指纹、检测漂移、重建后做原话层与变体层回归,并用闸门输出 VECTOR_INDEX_ALLOWED 或 VECTOR_INDEX_BLOCKED;标准库即可跑通。
虎虎(_ _)。゜zzZ3 天前
数据库·人工智能·大模型·向量数据库·rag·qdrant
Qdrant向量数据库工程实战做 RAG 检索增强生成,向量库是绕不开的一环。市面上选择不少——Chroma 轻量但扛不住并发,Milvus 功能全但部署重,pgvector 复用 PostgreSQL 但检索性能有天花板。
森山冶仁3 天前
人工智能·智能问答·rag·企业知识库·大模型落地·ai治理
治理知识库构建:用 RAG 把制度、文档、经验变成 AI 能力绝大多数企业的治理能力,都死在「文档堆积、经验流失、制度没人看、规范没人懂」。企业沉淀了海量制度文件、治理规范、数据标准、操作手册、复盘经验,但全部躺在网盘、Wiki、共享文件夹里,无法检索、无法落地、无法赋能业务。
云烟成雨TD4 天前
ai·agent·rag·llamaindex
LlamaIndex 系列【14】数据接入流水线(IngestionPipeline)数据接入流水线(IngestionPipeline)是指 LlamaIndex 中专门用来把原始文档变成可检索 Node 的一站式处理链路。
武哥聊编程5 天前
springboot·rag·pgvector·langchain4j
【AI实战项目】基于LangChain4j+Springboot+Vue+RAG+PGVector的AI智能客服与工单处理系统该项目资料获取请点击上方⬆️卡片,然后进入【AI实战库】板块即可搜索到。B站演示视频 https://www.bilibili.com/video/BV1pEhV64ERV
circuitsosk5 天前
python·知识库问答·rag·面试项目·ai工程化·混合检索
企业知识库 RAG 从 62% 到 91%:分块策略、混合检索与重排序的调优全记录之前面试时我发现一个尴尬的事实:会调 ChatGPT API 的人太多了,但能把自己做过的项目讲出"实验—对比—结论"的人很少。面试官最爱问的一句话是:“你这个准确率是怎么来的?提升是靠感觉还是靠实验?”
寻道码路6 天前
大模型·agent·rag·json schema·ai工程化·llmops`
大模型工程化实战(七):JSON Schema 强约束——模型吐的 json 不合规?schema 校验不通过,重试、兜底、降级一条龙客服 AI 念身份证的事过去一周,脱敏闸挂上了,泄露是不泄露了。可上线第四周,数据组来拍桌子:模型把“金额”吐成字符串 “¥1,234”(schema 要的是 number),“是否退款”整个字段丢了,还自作主张加了个 schema 里根本没有的“运费”。下游 json.loads 直接崩,pandas 读出来一片 NaN。
weixin_440213296 天前
agent·pdf解析·rag·检索增强生成
Agent‑RAG 处理复杂 PDF:从 Demo 走向生产级摘要:在 RAG 项目开发中,直接把 PDF 转纯文本再切片,是 Demo 级别的简单做法。面对真实业务 PDF:多栏排版、表格、扫描件、图表、合同层级页眉页脚,简单文本切片会带来上下文断裂、表格信息损坏、无法溯源等一系列问题。本文梳理工业界 Agent+RAG 处理 PDF 的四层架构,讲清楚生产环境 PDF RAG 完整落地思路,同时说明如何规避大模型幻觉问题。
beyond谚语6 天前
langchain·rag·ollama
六、LangChain——StrOutputParser和JsonOutputParser以第一次模型的输出结果,拿去第二次询问模型现在需要:chain = prompt | model | model,参与链的构建的组件完全符合要求,但运行会报错 ValueError: Invalid input type <class 'langchain_core.messages.ai.AIMessageChunk'>. Must be a PromptValue, str, or list of BaseMessages.
像风一样自由20207 天前
人工智能·postgresql·大模型·milvus·rag·智能体
17.Milvus如何完成一次向量相似度检索码海寻道 · 大模型、智能体与 RAG 工程组件系列第 17 篇在 RAG 项目里,“向量检索”经常被一句 search() 代码带过。但要真正排查召回为空、结果不准和延迟升高,必须理解一次检索内部发生了什么。
YoanAILab7 天前
语言模型·transformer·embedding·token·rag
大语言模型基础:Token、Embedding、Transformer、KV Cache 与 RAG理解大语言模型,可以先记住两条主线:大语言模型并不是直接以“汉字”或者“英文单词”为单位处理文本,而是先通过 Tokenizer(分词器) 将文本切分成一个个 Token。