embedding

一个RAG系统是怎样运行的：从文档分块到大模型回答本文主要结合我在MediGraph项目中的实践，介绍一个RAG系统从文档进入知识库，到最终生成可追溯回答的完整流程。

PDF 论文处理器 — 技术报告文档适用项目：数据处理脚本 / Dify 知识库数据生成工具文档性质：技术剖析与归档本文档覆盖以下内容：本工具是一个面向网络安全（网安）科研论文的领域专用 PDF 文本预处理流水线。其目标是将分散存储的英文论文 PDF，转化为 Dify 知识库可直接导入的高质量"数据块（chunk）"，服务于 RAG（检索增强生成）场景下的论文检索、研究现状总结与创新点挖掘。

Embedding 向量嵌入：语义空间、相似度与模型选择计算机很容易比较数字，却不能直接理解“如何启动服务”和“服务的启动步骤”表达了相近含义。Embedding 模型解决的正是这个问题：它把文本、图片或音频映射成一组稠密向量，让语义关系能够通过数学距离来比较。

30天从零开始学AI应用开发（Day 16）：Embedding 是什么？用人话讲明白“向量检索”这是系列的第 16 篇。整个系列写给零基础、想入行 AI 的朋友，每天一篇，30 天后你会做出 3 个能写进简历的项目。

大连好光景

RAG中为什么要做Embedding？嵌入模型如何选？一句话：中文选BGE或M3E、英文选OpenAI或Cohere、轻量级选Sentence-BERThttps://huggingface.co/spaces/mteb/leaderboard

Encoder 与 Decoder 详解：从 Embedding 到 Seq2Seq 的完整数据流本文用一个完整例子解释：输入“我爱你”后，每个词怎样经过 Embedding、Encoder，最后由 Decoder 生成 “I love you”。重点是区分词向量、上下文表示和生成过程。

RNN 原理、架构与一次完整手算本文从 Embedding 开始，解释循环神经网络（RNN）如何逐个读取序列、更新隐藏状态、预测下一个词，并用一个可以手算的极简例子完整走一遍：前向传播、softmax、交叉熵、反向传播、梯度下降，以及更新参数后再次前向推演。

RAG实战-Embedding模型（BGE）想象这样一个场景：你是一家企业的知识库管理员，库里躺着几十万份技术文档、产品手册和售后记录。用户抛来一句口语化的问题——“上次那个接口超时的问题最后怎么解决的？”——你需要在几秒内从海量文档里捞出最相关的那几段，交给大模型组织成答案。

田园诗人之园

一文搞懂 Token化、Embedding 与位置编码导读：文本进入 Transformer 前要经过三步核心处理——Token化 → Embedding → 位置编码(PE)。本文给出每一步的完整公式、原理推导与 PyTorch 实现，并用 7 组真实实验（RTX 5070 Ti 实测）验证所有结论：Embedding 查表与 one-hot 矩阵乘误差为 0、正弦 PE 的旋转性质误差 ~1e-6、RoPE 内积只依赖相对位置（偏差 4.77e-07）、无 PE 时模型对词序完全无感（变化 1.19e-07）……分词部分使用 Qwen3 官方分词器（词表

大语言模型（LLM）核心技术梳理：从词元化到 RAG 的工程实践Token（词元）是文本的基本单位。Tokenizer 的作用是把清洗后的文本字符串切分成有意义的基本单元序列，并构建词表（vocabulary）。例如句子 "I want a beer! Beer is cute!" 会被切分成 ["I", "want", "a", "beer", "!", "Beer", "is", "cute", "!"] 等 token，再映射为整数索引，形成训练数据。

从零开始学习RAG——02 项目架构定位:本文档是 ...rag-from-scratch 的完整架构说明,回答三个问题——系统由什么组成、数据怎么流动、每个决策为什么这么定。

Qwen3-Embedding-0.6B 纯 CPU😫 痛点引入：4 核小机器跑个 0.6B 的 embedding 模型，一条长文本要等一百多秒？内存常年顶满、swap 疯狂读写、CPU 明明闲着却慢得离谱？网上一搜全是「vLLM + FP16 + FlashAttention」，可你这台机器连个独显都没有🤡？

牛油果子哥q

多模态大模型工程入门：图文Embedding、图文RAG、图片解析、C++多模态接口封装实战前面我们学习了向量数据库与文本RAG，传统文本RAG只能处理纯文字文档，无法解析图片里的图表、截图、公式、扫描件。多模态大模型打破文本的边界，可以同时处理图片、文字，生成统一空间下的图文Embedding，构建图文混合知识库，这就是多模态RAG。

好菇娘の当自强

安装 Embedding 模型所需环境（完整指南）Embedding 模型是 RAG（检索增强生成）、语义搜索、文本相似度计算等应用的核心组件。在开始使用 Embedding 模型之前，我们需要先搭建好运行环境。本文将详细介绍安装 Embedding 所需的环境，涵盖 Python 环境、依赖库、模型下载与验证等步骤。

基于向量检索重排序与查询扩展的GEO优化：从Embedding空间视角提升区域实体引用率生成式引擎优化（GEO，Generative Engine Optimization）的技术实现，本质上是在大语言模型（LLM，Large Language Model）的检索增强生成（RAG，Retrieval-Augmented Generation）管线中，提升目标内容在向量检索阶段的召回概率与重排序阶段的优先级。本文从向量空间建模的角度出发，提出一种基于查询扩展（Query Expansion）与检索结果重排序（Re-ranking）的GEO优化方法：通过区域实体语义增强、多粒度向量索引、交叉编码

Transformer与大语言模型：第18章向量数据库本章目标：理解向量数据库的工作原理，以及 HNSW、IVF、PQ 等索引算法。假设你有 100 万篇文章，每篇文章都有一个 768 维的 Embedding 向量。

去中心化 AI 反馈系统：数据不上链，凭证与激励分开管随着 AI 模型在业务场景中的大规模落地，反馈数据的质量与治理逐渐成为决定模型能否持续进化的关键。无论是大语言模型的 RLHF、评测数据沉淀，还是客服机器人的会话修正，本质上都依赖高质量反馈持续回流到训练与运营闭环中。

AI微调系列（1）| 全量微调、LoRA、QLoRA 三种方案怎么选最近在做企业 AI 化转型的技术咨询时，几乎每家技术负责人都会问我同一个问题：模型选定以后，到底应该走"全量微调"、"LoRA"还是"QLoRA"？三种方案听起来都叫微调，但显存开销、训练成本、最终效果却天差地别，选错了轻则烧光预算，重则整个项目返工。

RAG Embedding 模型替换与索引回归摘要：《RAG 向量索引重建与回归》把索引包做成带指纹的版本制品后，下一步常是把演示用的 TF-IDF 换成真实 Embedding 模型。换模若只改配置名、不重建索引、不做双层回归，变体问法会悄悄退步。本文用同一套题集与闸门口径，演示从 tfidf_cosine_v1 替换到定长哈希 Embedding（接口对齐真实模型），并给出弱模型替换被阻断的对照；标准库即可跑通，上线时只替换向量层实现。

长期记忆系统的设计与实现我认为长期记忆真正麻烦的地方，不是把一句话存进数据库，而是下一次再出现相关信息时，应该怎么更新已有的记忆。