llm

大模型底层学习（一）-Transformer 架构总览过去半年在 Agent 方向投入了大量精力，从 Agent 记忆架构设计到 Skill 工程化落地，积累了不少实践经验。但回头审视，发现自己一直停留在应用层——知道怎么调、怎么排、怎么蒸馏，但对底层为什么是这样缺乏系统理解。

Langchainrust:中LLM-as-a-Judge,用 Rust 实现一套 LLM 评估系统代码仓库:langchainrust · 全部可跑,文末有真实测试数据LLM 应用落地后,绕不开一个问题:输出到底好不好?

一起努力啊～

DataWhale组队学习笔记--llm-algo-leetcode(三)可以先把 Attention 记成“当前 token 去回看历史 token”，KV Cache 是把历史信息存起来避免重复算，GQA 则是在效果和显存之间做折中。

AINative软件工程

LLM 并发工具调用的 5 个生产陷阱：幂等性、竞态与失败补偿你的 Agent 会「双倍退款」吗？并发 Tool Call 让一切隐藏的耦合立刻暴露。一个客户支持 Agent 在生产跑了三个月，eval 分数不错，trace 看起来干净。然后某天，一位用户的退款被处理了三次。五次。

吃饱了得干活

LangChain 提示词模板：从拼接字符串到组合流水线在构建 AI 应用时，提示词（Prompt）的质量直接决定模型输出的效果。而如何高效、安全、可维护地管理提示词，是每个开发者都必须面对的课题。LangChain 提供了强大的提示词模板体系，帮助我们告别字符串拼接的混乱，走向模块化的工程实践。

AI常用概念名词大语言模型（Large Language Model）给大模型的输入语。优秀的prompt可以让AI的回复质量更高，避免多次问答，节省Token

带刺的坐椅

用 Solon TeamAgent 落地供应链异常管理与自动补货某制造企业供应链团队每天要处理大量供应商、库存、物流异常。核心问题：说明：供应链场景天然是多职责协作，更适合 TeamAgent + 多个 ReActAgent 成员。

LLM02-Context Priming：利用强模型上下文提升弱模型能力的策略全文摘要：本文探讨一种实用的 LLM cost optimization 策略——Context Priming：在一轮新对话中先用强（昂贵）模型建立高质量的 interaction context，然后切换至弱（廉价）模型继续对话。由于 conversation history 充当了 implicit prompt，弱模型会模仿强模型的 reasoning pattern、response format 和 behavior，从而显著提升其 output quality。本文涵盖核心概念、技术原理、实

先吃饱再说

Skill 是什么？一个让 AI 从“现想”变成“照做”的操作手册摘要：每次让 AI 整理会议纪要，都要重新解释一遍格式要求？Skill 就是解决这个问题的——把重复性任务的“最佳实践”固化下来，让 AI 遇到同类任务时直接照章执行。本文从两个实际 Skill 案例出发，拆解 Skill 的结构、原理和工程化价值。

MCP 系列（08）：企业治理——Registry、路由与可观测性三个 MCP Server 靠记忆管理。二十个需要系统。企业内 MCP Server 数量增加后出现的典型问题：

从 “卡死半天” 到 “打字机效果”：大模型流式输出前端实现全记录上周我想搭个极简的大模型测试页，方便自己调 prompt 用。三下五除二写完第一版，点提交的瞬间我自己都皱眉头 —— 输入框敲完问题，点一下按钮，页面就钉死在 “思考中...”，短问题还好，稍微长一点的生成，好几秒没动静，不知道的还以为页面崩了。

vllm源码剖析11-vLLM 量化模型实践相关 dtype 示例： f32_type = torch.float32 bf16_type = torch.bfloat16 e4m3_type = torch.float8_e4m3fn

26.AI大模型：RNN、LSTM、GRU在自然语言处理、时序预测、语音识别领域，序列依赖是绕不开的核心问题。普通全连接网络、CNN 只能处理固定长度、无先后关联的数据，无法感知文本语序、时间先后带来的语义变化。而 RNN 及其衍生变体 LSTM、GRU，通过内置记忆传递机制，专门建模有序序列的上下文关联。本文从零拆解整套体系，无 PPT 原图、无工程代码，纯原理 + 逻辑梳理，新手也能建立完整知识框架。

Attention 优化全景：FlashAttention 的加速魔法与 MHA/GQA/MLA 的结构演进副标题： Attention 的优化有两个正交方向——FlashAttention 用 Tiling + Online Softmax 省掉了 O(N²) 的中间矩阵；MHA→GQA→MLA 通过减少 KV Head 数量压缩了 KV Cache。两者叠加，才是现代推理引擎的全貌。

RAG 灵魂三问：你的文档是怎么"喂"给大模型的？🔥 本文基于 LangChain + Cheerio 实战，聊聊 RAG 中最容易被忽视却最影响效果的环节——文档切片（Text Splitting）

LLM的"消化系统"：一文讲透RAG文档加载与智能切割从axios+cheerio手写爬虫到RecursiveCharacterTextSplitter，LangChain文档预处理全链路拆解

HunyuanVideo 全家族选型：原版 13B / I2V / Avatar / Foley / 1.5 8.3B 怎么分工“HunyuanVideo”现在不是一个模型，而是一个家族。搜索结果里同时出现原版 13B、HunyuanVideo-I2V、Avatar、Foley、Custom 和 HunyuanVideo-1.5。它们不是简单的“大、中、小版本”，而是不同时间、不同任务和不同架构的公开项目。

呆呆敲代码的小Y

RAG 表格解析完全指南：xParse、PaddleOCR、MinerU 实测对比并接入Agent使用随着AI的发展越来越强大，RAG如今在很多公司中已经开始作为知识库进行使用了。但公司的很多文档和资料都是非常多的，包括文档数量多、内容多、表格复杂等情况。

先吃饱再说

一篇文章被切成 100 块还怎么保持语义：RAG 分块的底层逻辑摘要：RAG 系统的性能，很大程度上取决于你如何切分文档。块太大，检索不精准；块太小，语义不完整。本文拆解 RecursiveCharacterTextSplitter 的递归切割原理、Overlap 重叠窗口机制、五大分块策略的适用场景，以及最佳实践指南。