技术栈
rag
递归尽头是星辰
8 小时前
人工智能
·
大模型
·
向量检索
·
rag
·
spring ai
·
向量库
大模型与向量检索的融合:从核心原理到 Spring AI 落地
本文系统梳理大模型与向量检索的完整知识体系,从基础概念、核心技术模块出发,深入剖析二者基于 RAG 的协同融合机制,结合Spring AI实现工业级落地实践,并针对工程化部署、性能优化给出可落地的解决方案。内容覆盖嵌入模型、向量检索算法 / 数据库、RAG 基础 / 进阶流程、多场景应用。
laplace0123
9 小时前
人工智能
·
深度学习
·
embedding
·
agent
·
rag
大模型整个训练流程
首先是预训练得到一个模型,但这个模型不懂人类的指令,所以要进行后训练,先是分两路, 一路是进行SFT,目的是让模型学会遵循指令和对话格式,训练数据是(prompt, completion)对 一路是进行RM奖励建模,和sft并列,建模主要是进行一个打分/排序模型, 然后进行RL强化学习
勇气要爆发
12 小时前
docker
·
容器
·
langchain
·
lora
·
rag
·
ollama
·
llama 3
Docker+Ollama+LangChain:从零搭建企业级“隐私优先”本地 RAG 知识库 (附源码)
作者:飞哥(一个喜欢讲故事的全栈开发者,擅长把复杂的代码翻译成“人话”) 难度:⭐⭐⭐⭐ 关键词:Ollama, Llama 3, Docker, Docker Compose, RAG, LoRA
沛沛老爹
15 小时前
java
·
开发语言
·
人工智能
·
安全
·
rag
·
skills
Web开发者转型AI安全实战:Agent Skills敏感数据脱敏架构设计
图片来源网络,侵权联系删。在Web开发中,我们对表单数据脱敏有着深刻认知:用户身份证号在前端显示为110*********1234,数据库存储时加密处理。当Web开发者转型AI领域,Agent Skills处理的敏感数据(如医疗记录、财务信息)同样需要同等强度的防护。
xixixi77777
15 小时前
网络
·
安全
·
大模型
·
网络攻击模型
·
攻击
·
rag
·
越权检索
RAG越权检索与变形指令/隐写规避常态化:攻击者通过Base64、TokenBreak、字符插入与多轮引导,诱导模型泄露知识库或训练集中的敏感信息
当前RAG(检索增强生成)系统所面临的核心安全挑战:攻击面从模型本身扩展到了检索系统与模型的结合部,攻击手段也从直接对抗演变为常态化、隐蔽化的渗透。
laplace0123
16 小时前
人工智能
·
python
·
大模型
·
agent
·
rag
PPO到GRPO自己话总结
==**通俗易懂的来说**== PPO的总体流程就是用policy model(训练的模型)去生成样本组,然后计算奖励V,用v去计算advantage,然后去更新policy和value [[Agentic RL和RLHF区别是什么?]] 他主要有四个模型 1、policy model(待训练的模型) 2、reference model (被冻结的老模型) 3、reward model 打分模型 4、value model 估分基准模型 ==**advantage=reward-value,如果是多步的(
deephub
2 天前
人工智能
·
知识图谱
·
大语言模型
·
rag
知识图谱的可验证性:断言图谱的设计原理
大语言模型在文本生成和推理上的表现有目共睹,但对于从非结构化文本构建可靠知识图谱这件事,依然是个老大难。这个问题的根源在于:语言模型的运作机制与结构化知识提取的需求之间存在本质性的错位。 本文会介绍自动化知识图谱生成的核心难题:生成式模型为什么搞不定结构化提取,判别式方案能提供什么样的替代选择,生产级知识图谱的质量标准又是什么。
molaifeng
2 天前
milvus
·
rag
告别大模型幻觉:深度解析 RAG 文档切割艺术与 Milvus 高性能实战
在生成式 AI 的浪潮中,RAG(Retrieval-Augmented Generation,检索增强生成)已经成为了企业级大模型应用的“标配”。它像是在大模型(LLM)这个天才大脑旁边放了一座实时更新的图书馆,让模型能够突破预训练数据的时空限制,回答私有领域或最新发生的专业问题。
小汤圆不甜不要钱
3 天前
人工智能
·
深度学习
·
机器学习
·
rag
「Datawhale」RAG技术全栈指南 Task 3
概念 embedding是将真实世界中复杂、高维的数据对象转换为数学上易于处理的、低维、稠密的连续数值向量的技术。embedding的核心意义在于,它所构建的向量空间中,语义相似的对象得到的向量距离会更近,语义上不相关的对象向量距离会更远。 理解: embedding是将文本/图像等人类能看懂的数据转换成计算中可量化的数据。 如何衡量一个embedding模型的好坏,是看相近词的向量相似度是否更高,无关词的向量相似度更低。 如何度量相似度? - 余弦相似度/点积/欧氏距离 如何选择不同的度量方法? - 余
一个无名的炼丹师
3 天前
python
·
pdf
·
大模型
·
多模态
·
rag
DeepSeek+LangGraph构建企业级多模态RAG:从PDF复杂解析到Agentic智能检索全流程实战
摘要: 传统的文本RAG(检索增强生成)在面对包含复杂表格、图片和多栏排版的PDF文档时往往力不从心。本文将带你从零开始,基于 Unstructured + PaddleOCR 实现“结构解析重建法”,将复杂的PDF逆向转化为高质量的Markdown文档;并结合 DeepSeek 大模型与 LangGraph 智能体框架,构建一个具备自我修正能力的 Agentic RAG 引擎。本文包含完整的环境配置、核心代码实现及架构原理解析。
沛沛老爹
3 天前
java
·
javascript
·
图像处理
·
人工智能
·
python
·
rag
从Web到AI:多模态Agent图像识别Skills开发实战——JavaScript+Python全栈图像处理方案
图片来源网络,侵权联系删。作为Web开发者,我们熟悉<canvas>绘制图像、用FileReader处理上传文件、通过CSS滤镜实现视觉效果。当业务需求从"展示商品图片"升级为"识别图中商品瑕疵并生成质检报告",当用户交互从"点击按钮"进化为"圈出图片问题区域获取解决方案"——传统Web图像处理能力已触达天花板。某电商平台数据显示:集成图像识别Skills的Agent客服,商品咨询转化率提升38%;某工业App通过实时缺陷检测,设备故障响应速度缩短至2.3秒。
沛沛老爹
3 天前
java
·
开发语言
·
前端
·
人工智能
·
llm
·
安全架构
·
rag
从Web到AI:Agent Skills安全架构实战——权限控制与数据保护的Java+Vue全栈方案
图片来源网络,侵权联系删。作为Web开发者,我们熟悉的Spring Security、JWT令牌、RBAC权限模型,正在Agent Skills领域遭遇全新挑战。当某银行因Skills权限漏洞导致客户征信数据泄露,当某电商平台因未隔离的Agent内存引发越权访问——Skills安全不是AI专属课题,而是Web安全架构的维度升级。
沛沛老爹
3 天前
java
·
开发语言
·
前端
·
vue.js
·
人工智能
·
rag
·
企业转型
从Web到AI:行业专属Agent Skills生态系统技术演进实战
图片来源网络,侵权联系删。Skills生态系统相关文章从Web到AI:构建行业专属Skills生态系统的实战指南与未来展望
deephub
4 天前
人工智能
·
深度学习
·
损失函数
·
信息检索
·
rag
RAG 检索模型如何学习:三种损失函数的机制解析
Agent 系统发展得这么快那么检索模型还重要吗?RAG 本身都已经衍生出 Agentic RAG和 Self-RAG(这些更复杂的变体了。
沛沛老爹
4 天前
java
·
前端
·
人工智能
·
安全
·
rag
·
web转型升级
Web开发者转型AI安全核心:Agent Skills沙盒环境与威胁缓解实战
图片来源网络,侵权联系删。Skills安全架构系列从Web到AI:Agent Skills安全架构实战——权限控制与数据保护的Java+Vue全栈方案
沛沛老爹
4 天前
java
·
人工智能
·
rag
·
企业转型
·
合规
Web开发者转型AI安全核心:Agent金融数据处理Skill合规架构实战
图片来源网络,侵权联系删。Skills安全架构系列@[toc]在Web金融系统中,我们深谙数据合规的价值:HTTPS加密传输保障交易安全,Spring Security的RBAC模型控制数据访问权限,PCI DSS标准要求敏感字段脱敏存储。当Web开发者进入AI金融领域,Agent Skills面临更严峻挑战——处理个人征信、账户流水等敏感数据时,一次提示词注入攻击可能导致千万级数据泄露。
羞儿
4 天前
设计模式
·
知识图谱
·
agent
·
rag
·
mcp
·
指导开发
Agent设计模式与工程化
完成最关键的第一部分:定义系统的边界与核心逻辑。Smart Scholar Agent 旨在解决学术研究中的“信息过载”与“知识碎片化”问题。它不仅仅是一个阅读器,而是一个端到端的知识生产引擎,能自动将 PDF 转化为结构化知识、视觉洞察、对比表格以及动态演化的知识图谱。
沛沛老爹
6 天前
java
·
前端
·
vue.js
·
人工智能
·
rag
·
企业转型
从Web到AI:多模态Agent Skills生态系统实战(Java+Vue构建跨模态智能体)
图片来源网络,侵权联系删。Skills生态系统相关系列文章从Web到AI:构建行业专属Skills生态系统的实战指南与未来展望
MarsBighead
6 天前
ai
·
postgresql
·
rag
PostgreSQL全文检索中文分词器配置与优化实践
在构建RAG(检索增强生成)系统的过程中,提升检索效率与准确性是一个持续优化的课题。除了常见的嵌入向量检索外,结合全文检索技术能进一步改善系统表现。本文基于PostgreSQL数据库,分享中文全文检索分词器的配置、索引创建与使用实践,记录在真实场景中遇到的问题与解决方案。
laplace0123
7 天前
数据库
·
人工智能
·
笔记
·
agent
·
rag
第八章 agent记忆与检索 下
检索增强生成(Retrieval-Augmented Generation,RAG)是一种结合了信息检索和文本生成的技术。它的核心思想是:在生成回答之前,先从外部知识库中检索相关信息,然后将检索到的信息作为上下文提供给大语言模型,从而生成更准确、更可靠的回答。