llm

智能体的构建依然是个“脏活累活”...编者按：构建真正可靠的智能体（Agent）为什么依然如此困难？尽管大模型能力日新月异，工具调用、多步推理、状态管理等核心环节却仍充满“脏活累活” —— 是抽象层不够好？平台差异太大？还是我们尚未找到正确的工程范式？

Datawhale Happy-LLM 课程 task 1和2：NLP基础概念此博客为Datawhale 组队学习打卡笔记[1] https://github.com/datawhalechina/happy-llm

Token：AI 时代的数字货币——从原理到计费全解Go 系列博文的最近一口气写了十篇（王婆卖瓜下，全是干货）。这一次换个方向，紧跟技术趋势，聊一个几乎所有 AI 应用都绕不开、却经常被一笔带过的概念——Token。

跳跳糖炒酸奶

第十二章、GPT2：Language Models are Unsupervised Multitask Learners（理论部分）阅读经典论文是想深入任何领域都必须经历的过程，接下来让我们看看openai的经典之作GPT2。下述内容包含很多个人观点可能存在有问题的地方，欢迎一起讨论。

Qwen GSPO算法的深入学习和理解GRPO 的局限：Token 级粒度的噪声问题，裁剪机制可能放大噪声。GRPO 依然沿用 Token 级别的更新粒度：

【LLM】deepseek之Engram模型(增加条件记忆模块)【Deepseek进展】给大语言模型加了个“快速查知识的小模块”。也就是条件记忆模块，实现上，融合静态N-gram嵌入与动态隐藏状态，通过确定性寻址实现O(1)查找，以可扩展查找，作为混合专家（MoE）之外的新稀疏性维度。如此一来，原来的模型（比如MoE架构）靠“实时计算”处理信息，这个模块补了个“静态记忆库”，存着常用的短语、知识片段，后续一键调取，不用重复计算。

爱听歌的周童鞋

斯坦福大学 | CS336 | 从零开始构建语言模型 | Spring 2025 | 笔记 | Assignment 1: BPE Tokenizer本篇文章记录 CS336 作业 Assignment 1: Basics 中的 BPE Tokenizer 作业要求，仅供自己参考😄

8.RAG构建金融知识库2 构建RAG实战3 总结与思考RAG(Retrieval-Augmented Generation)检索增强生成

用矩阵实例具象化 RankMixer 核心机制结合文档中 100M 参数模型的典型配置（T=16 个特征 Token、D=768 隐藏维度、H=16 个头），通过具体矩阵维度和运算过程，拆解 RankMixer 核心模块的矩阵操作逻辑，让抽象架构落地为可感知的数值流程。

Unity中使用LLMUnity遇到的问题（一）设置[Num GPU Layers]参数的值，官方说-1代表全用GPU，实测后发现设置成-1时，CPU满载，GPU貌似没有忙碌。

不靠模仿的第三条路：DeepSeek 凭数学推导，为何撞上 Google 的工程直觉？Google 在 2025 年 6 月推出 Gemma 3n 时，技术圈的反响截然两极。工程团队为其在移动端的极致轻量化折服——2GB 内存即可运行 80 亿参数模型，多模态推理流畅如常；而学术界却对 PLE（Per-Layer Embeddings）与 AltUp 等非传统设计心存疑虑，视其为为适配硬件而强行压缩的工程捷径。

claude code架构猜测总结Claude Code 本质 =「LLM 驱动的 Tool-Calling 循环」+「逐层外置的认知结构」模型是 Agent，本体代码只负责：约束、反馈、隔离、注入知识。

lkbhua莱克瓦24

RAG到RGA：生成式AI的范式演进在深入探讨RGA之前，让我们先回顾一下它演进而来的基础框架——RAG（检索增强生成）。想象一位准备重要演讲的学者。传统大语言模型如同依赖固定记忆库的专家，只能基于训练时学到的知识回答问题，无法获取最新信息或特定领域资料。而RAG则像是为这位专家配备了实时研究助手：当问题提出时，助手先检索相关文献，然后将这些资料与问题一同交给专家，生成更准确、更具时效性的回答。

Debug：mlx-omni-server服务器用qwen3模型出错背景：AI回答出错，开始以为是代码问题使得之前的对话出现在上下文，没想到是mlx-omni-server的问题

TextIn × Agentic RAG：让大模型真正读懂学术论文作为一名研究者，我每天都需要阅读大量的学术论文。最近在做文献综述时，我想到：能不能让 AI 帮我快速理解这些论文的核心内容？

A2UI : 以动态 UI 代替 LLM 文本输出的方案A2UI (Agent to UI) 是一个基于 JSON 的流式 UI 协议，旨在让 AI Agent 能够动态生成、控制并响应用户界面。从技术本质上看，它将 UI 视为纯粹的数据 payload，由前端运行时（Runtime）负责解析并映射为原生组件。

mcp-gateway —— 隐藏mcp上下文以避免不必要的tokens开销今天上午刷到了 linux.do/t/topic/140… ，奈何该工具需要docker，而我又没有docker，遂造轮之。

《PDF解析工程实录》第 17 章｜内容流里“看得见却看不见”的字符：那些幽灵文字从哪来？点此进入系列专栏如果你已经开始深入使用 PDF 内容流解析，迟早会遇到一种非常诡异、但又极其常见的现象：

人工干智能

OpenAI Assistants API 中 client.beta.threads.messages.create方法，兼谈一星*和两星**解包前文学习了“OpenAI Assistants API 架构”，其中 client.beta.threads.messages.create 是向指定对话线程（Thread）添加消息的唯一方式，也是构建对话上下文、实现用户与助手交互的基础。

10.不改模型只改提示P-Tuning微调新思路LSTM(Long Short-Term Memory长短期记忆网络 RNN循环神经网络的变体 )/MLP(多层感知机)