embedding

自己的九又四分之三站台

8：大语言模型是无状态以及大语言模型的基石Embedding下面我从工程与原理两个层面，系统性地说明你提到的两个核心概念：① 大语言模型为什么是“无状态”的 ② Embedding 为什么是大语言模型的基石

大模型整个训练流程首先是预训练得到一个模型，但这个模型不懂人类的指令，所以要进行后训练，先是分两路，一路是进行SFT，目的是让模型学会遵循指令和对话格式，训练数据是(prompt， completion)对一路是进行RM奖励建模，和sft并列，建模主要是进行一个打分/排序模型，然后进行RL强化学习

汗流浃背了吧，老弟！

构建RAG系统时，如何选择合适的嵌入模型（Embedding Model）？在RAG（检索增强生成）系统中，嵌入模型（Embedding Model）的核心作用是将文本（如文档、查询）转化为低维稠密向量，通过向量相似度计算实现“语义匹配”检索，最终影响检索的准确性和生成答案的质量。选择合适的嵌入模型需要结合业务场景、数据特性、性能需求等多维度综合考量，以下是详细的选择思路和关键因素：

Diffusion Model扩散模型中的time embeding的作用time embedding 的作用是：把“离散的噪声步索引”映射到一个连续、可微的条件向量，再通过 MLP 生成一组 scale 和 shift，用于对特征 x 做逐元素的仿射调制（FiLM）：一半用于乘（缩放），一半用于加（平移）。

大语言模型 bpe算法后面对接的是 one-hot吗 nn.Embedding不是。 BPE 结束后，模型拿到的已经是整数序列（token id），下一跳直接就是 nn.Embedding（即可训练的稠密向量），根本不会再走 one-hot。流程如下：

andwhataboutit?

embedding model你可以把嵌入模型（Embedding Model）理解成一个 “语言翻译官”：为什么需要它？举几个你能感知到的场景：

程序员泠零澪回家种桔子

RAG中的Embedding技术在RAG（检索增强生成）系统中，Embedding（嵌入）是连接“非结构化数据（文本、图像等）”与“机器可计算语义”的核心桥梁——没有Embedding，就无法实现高效的语义检索，RAG的“检索增强”功能也无从谈起。以下结合文档核心内容，从核心定义、核心本质、在RAG中的核心作用、工作原理、主流模型与工具、关键特性、实操注意事项七个维度展开全面讲解。

熠智AI+Milvus:从Embedding 到数据处理、问题重写，电商AI客服架构怎么搭？本文来自熠智 AI 的一线工程师投稿。熠智 AI，是电商智能客服赛道的新锐玩家，目前已经打通淘宝、天猫、京东、拼多多、快手、抖音、闲鱼等主流电商平台，深度服务多家头部店铺，跻身智能客服解决方案一线梯队。

CCPC不拿奖不改名

面向计算机应用的数学作为计算机专业的学生，要读懂 RNN、CNN 等 AI 模型里的数学公式，核心是学习「面向计算机应用的数学」 —— 不用像数学专业那样深挖定理证明，重点是理解公式的含义、作用，以及和代码的对应关系。

【大模型学习】词嵌入（Word Embedding）深度解析：从符号到向量的语义映射核心洞见：词嵌入的本质是将离散的符号空间映射到连续的向量空间，使得语义相似的词在向量空间中距离相近。这突破了传统NLP中"词袋模型"的局限，为深度学习模型理解语言提供了数学基础。

Java后端的Ai之路

【AI大模型开发】-基于 Word2Vec 的中文古典小说词向量分析实战本项目基于 Gensim 库实现了中文古典小说的 Word Embedding 分析，通过 Word2Vec 算法将文本中的词语转换为向量表示，进而实现词语相似度计算和类比推理等功能。项目包含了《西游记》和《三国演义》两个经典中文文本的分析案例，适合自然语言处理初学者学习和实践。

向量库 Qdrant + 图数据库Neo4j+Embedding阿里百炼text-embedding-v3很多人会问：既然向量检索能找到相似文本，为啥还要图？向量库擅长： Qdrant 模糊语义匹配：你换个说法也能召回召回覆盖广：适合“先捞一批可能相关的”

CCPC不拿奖不改名

循环神经网络RNN:整数索引→稠密向量（嵌入层 / Embedding）详解整数索引（如[4,5,6,7]）虽然是数值，但存在两个致命问题，无法直接输入 RNN：离散且无语义：索引的数值大小无意义（如索引 7>4 不代表 “苹果” 比 “我” 重要），也无法体现 Token 间的语义关联（如 “苹果” 和 “香蕉” 的索引无任何关联）；

Flutter框架跨平台鸿蒙开发——Embedding层架构概览Embedding层是Flutter与底层平台交互的关键桥梁，负责将Flutter引擎集成到各个平台上。本文将深入探讨Embedding层的核心架构设计。

Langchain4j 系列之二十二 - Embedding Models上一个系列讲了Spring AI得到反馈效果不错，有人私信我说这个和Langchain4j有什么区别。如果站在使用方面，都是基于Java的大模型应用研发的工具，本质上没太大区别。但是从细节层面来说还是有很多不同之处，所以索性借此机会，给大家分享一下Langchain4j框架。在本系列中会按照Spring AI系列的顺序来写Langchain4j，这样的好处是可以对比两者不同的细节。

LiuPig刘皮哥

llamaindex 使用火山embedding模型火山doubao-embedding-vision-xx模型url不是以：/embeddings结尾，导致llama-index-embeddings-openai-like用不了，需要从写一下。

Java后端的Ai之路

【AI大模型开发】-Embedding 与向量数据库：从基础概念到实战应用什么是Embedding?专业解释大白话解释生活案例为什么要用Embedding?专业解释大白话解释生活案例

指掀涛澜天下惊

AI 基础知识八词嵌入（word embedding）自然语言处理( Natural Language Processing, NLP)简称NLP,属于人工智能的一个分支,让计算机能够理解并处理人类语言,从中提取出有用的信息,帮助人类更高效地处理各种任务。

Qwen3-VL-Embedding 和 Qwen3-VL-Reranker：用于最先进多模态检索和排序的统一框架李明欣∗^{*}∗ 张言昭∗^{*}∗ 龙鼎坤∗^{*}∗ 陈可钦宋思博白帅杨志波谢鹏君杨安刘大恒周靖人林俊阳通义实验室，阿里巴巴集团 https://huggingface.co/collections/Qwen https://modelscope.cn/organization/qwen https://github.com/QwenLM/Qwen3-VL-Embedding

阿里Qwen开源Qwen3-VL-Embedding 和 Qwen3-VL-RerankerQwen3-VL-Embedding 和 Qwen3-VL-Reranker 模型系列是 Qwen 家族的最新成员，基于近期开源且强大的 Qwen3-VL 基础模型构建。这一系列专为多模态信息检索和跨模态理解设计，可接受多样化的输入，包括文本、图像、截图、视频，以及包含这些模态混合的内容。