transformer

大模型面试高频题：Transformer、MoE、RLHF、DPO 核心原理拆解如果你正在准备大模型算法工程师、LLM 应用开发工程师或 AI 相关岗位的面试，那么 Transformer、MoE、RLHF 和 DPO 这四个知识点基本绕不开。

把一个 Qwen3.8的聊天模型改造成 JEV 决策模型普通大模型回答"这道题选 A 还是 B"的方式是生成文字：吐出 “答案是 B”，你再拿正则去解析。慢、会格式错、而且它写出来的"我有 80% 把握"是编的，不是真实置信度。

小易老师AI实战

Transformer掩码注意力机制原理深度解析掩码注意力是标准自注意力的变体，也叫因果注意力，主要用于Transformer解码器以及Decoder‑Only架构大模型。核心约束：计算当前token注意力时，仅允许访问自身与历史位置token，屏蔽序列未来位置的token信息。

6.1 Transformer架构概述在上一章中，我们介绍了Seq2Seq模型与注意力机制。Seq2Seq通过编码器-解码器结构实现了变长序列到变长序列的映射，Bahdanau注意力通过动态计算上下文向量突破了固定向量的信息瓶颈。然而，这些模型本质上仍未脱离循环神经网络的框架。

【SLAM】SLAM-Former论文与代码导读本页概念卡 SLAM-Former · Map Tokens · Pointmap · KV Cache · Cache Sharing · DivPrune · 帧内帧间注意力 · 三训练模式 · 关键帧选择 · 稠密单目SLAM · 未标定SLAM · Pi3 · ATE · Acc · Comp · Chamfer

【SLAM】SLAM-Former单目稠密 SLAM（Dense Monocular SLAM）做成「同一个 Transformer 兼任前端跟踪 + 后端全局精炼」：不用传统回环检测 + 因子图，用 map tokens（地图 token）和 KV cache（注意力键值缓存）让前后端互相促进。

啥都鼓捣的小yao

Vision Transformer（ViT）深入浅出在了解ViT之前首先你要知道什么是Transformer，对于Transformer的学习可以看我的文章：Transformer深入浅出

第七章深度学习 -- Transformer 架构自注意力(Self-Attention)是 Transformer 的核心机制。它让序列中每个位置都能「看到」其他所有位置,并通过学习的权重决定关注程度。

Transformer彻底剖析(9)：归一化演进——BatchNorm、LayerNorm、RMSNorm、Post-LN / Pre-LN、DeepNorm目录1 为什么需要归一化2 BatchNorm3 LayerNorm4 RMSNorm5 Post-LN / Pre-LN

布吉岛的石头

Java 程序员第 50 阶段3：数据工程：预训练语料清洗与去重在大模型工程落地里，这个话题绕不开。很多 Java 同学刚接触时容易只看结论、不究原理，一旦线上出问题就无从下手。先把「为什么重要」说清楚，后面才好理解它怎么用。

爱听歌的周童鞋

MIT 6.5940 | TinyML 与高效 AI 计算 | Fall 2026 | 笔记 | Lecture 12：Transformer and LLM学习 MIT 韩松教授讲授的 MIT 6.5940: Tiny ML and Efficient AI Computing 课程，本篇文章记录第十二讲：Transformer 和 LLM 的学习内容，和大家一起分享交流😄

（2026|中科院自动化所，路由冗余，动态分配的价值在激进剪枝，多模态更脆弱）你只需要选定专家的 2/3：细粒度 MoE LLM 中的动态专家剪枝论文地址：https://arxiv.org/abs/2609.25809项目页面：https://github.com/MingZwhy/An-Empirical-Study-on-Expert-Pruning

参数量、上下文窗口与模型规格怎么看打开任何一个模型主页，迎面而来是一串像乱码的东西：Qwen2.5-7B-Instruct-1M-Q4_K_M。每个片段都在告诉你一件具体的事，而这几件事合起来，正好决定了"我这台机器能不能跑"和"跑起来能聊多长"。这篇就是把这张卡片读穿。

一只废狗狗狗狗狗狗狗狗狗

Transformer——一个sequence-to-sequence的model今天我们讨论的问题是：输入一个序列，输出一个序列，输出序列的长度由模型自己决定例如：seq2seq模型在NLP大语言模型中应用的也很广泛：

QN1幻化引擎

信号场注意力（SFA）：把 KV Cache 变成 O(1) 的双通道注意力——0.1B/0.3B 受控 A/B 精度反升 15.5% / 24.3%一句话：把注意力拆成「近场滑窗 softmax + 远场 EMA 信号场」两个通道，解码状态从随长度线性增长变成常数 2.362 MB（2,080 个位置下比标准注意力小 64.9×），而精度不降反升——0.1B 规模受控 A/B 相对困惑度降低 15.51%±0.21pp，0.3B 规模降低 24.34%±0.70pp（均以最差种子判定，预注册 fail-closed）。## 1. 问题：推理的瓶颈不是算力，是 KV Cache自回归解码每一步都要读全部历史的 K/V。标准注意力的 cache 随上下文

2026年CNN与Transformer融合的创新点思路我们梳理了近期发表的与CNN+Transformer前沿创新思路有关的21篇论文汇总，包含CVPR、AAAI、NeurIPS、WACV等顶会顶刊成果，旨在帮助读者快速洞察学界发展脉络与最新动态。

布吉岛的石头

Java 程序员第 50 阶段2：预训练的目标函数：自回归语言建模本质在大模型工程落地里，这个话题绕不开。很多 Java 同学刚接触时容易只看结论、不究原理，一旦线上出问题就无从下手。先把「为什么重要」说清楚，后面才好理解它怎么用。

7 个阶段，27 篇经典论文，一文看懂 Transformer 如何催生现代 LLM原文：https://mp.weixin.qq.com/s/FyxeVIPXFxgJKueRkozMIw

具身智能感知系统底层原理具身智能感知系统底层原理一、具身感知的核心内涵与通用感知的本质差异二、多模态感知信号采集的底层原理三、多模态感知信息融合底层机制四、感知不确定性建模原理五、感知系统与智能决策模块的接口原理#大模型 #具身智能 #人工智能 #数字孪生

OmDet-Turbo: Real-Time Transformer-Based Open-Vocabulary Object Detection论文精读code: https://github.com/om-ai-lab/OmDet标题：OmDet-Turbo: Real-Time Transformer-Based Open-Vocabulary Object Detection