语言模型

星期天要睡觉

大模型（Large Language Model, LLM）——什么是大模型，大模型的基本原理、架构、流程从零理解 GPT、LLaMA、Claude 等大模型的核心原理与实战应用“大模型”（Large Model）通常指具有超大参数量（数十亿至万亿）、海量训练数据和通用智能能力的深度学习模型。它们的典型代表包括：

大语言模型科普报告大语言模型（Large Language Model，简称 LLM）是人工智能领域近年来最具突破性的技术之一，它通过海量文本数据的训练，能够理解、生成和推理自然语言，为人类与机器之间的交互开辟了全新的可能性。这些模型以其庞大的参数规模（通常包含数十亿至数千亿参数）和强大的自然语言处理能力，正在彻底改变从聊天机器人和虚拟助理到内容生成、研究协助和语言翻译等各个领域的应用。

文火冰糖的硅基工坊

[人工智能-大模型-27]：大模型应用层技术栈 - 大语言模型中的token是什么？在大语言模型（Large Language Models, LLMs）中，Token 是模型处理文本的基本单位。理解 Token 的概念对于使用和优化大模型非常重要，尤其是在调用 API 时涉及成本计算、输入长度限制、性能优化等方面。

性能优化实战：基于方法执行监控与AI调用链分析基于提供的代码和文档，这个项目提供了一套完整的性能优化解决方案，结合了方法执行监控和AI调用链分析功能。以下是对这一性能优化实战方案的分析：

海森大数据

三步破局：一致性轨迹强化学习开启扩散语言模型“又快又好”推理新时代在人工智能领域，语言模型正以前所未有的速度演进。近日，由复旦大学、上海人工智能实验室、上海交通大学组成的联合研究团队发布了一项突破性研究，针对掩码扩散大语言模型提出了一套创新的“解码策略+强化学习训练”组合拳，不仅显著提升了模型的推理性能与效率，更為扩散大语言模型的发展开辟了一条全新的路径。

阅读：REACT: SYNERGIZING REASONING AND ACTING INLANGUAGE MODELS(在语言模型中协同推理与行动)原文地址：https://arxiv.org/pdf/2210.03629尽管大型语言模型(LLMs)在语言理解和交互决策任务上展现了令人印象深刻的性能，但它们的推理能力(如思维链提示)和行动能力(如行动计划生成)主要被作为独立主题研究。本文探索了使用LLMs以交错方式同时生成推理轨迹和特定任务行动的方法，从而在两者之间实现更大的协同效应：推理轨迹帮助模型引导、跟踪和更新行动计划以及处理异常情况，而行动则允许模型与外部信息源(如知识库或环境)交互并收集额外信息。我们将这种方法命名为ReAct，并将其应用于

未来的 AI 操作系统（三）——智能的中枢：从模型到系统的统一过去几年，我们在热烈讨论大模型。无论是 GPT、Claude、Gemini，还是国内的千问、文心、通义——它们代表了智能的「大脑」。但我们逐渐意识到：大脑不是系统。

《未来的 AI 操作系统（四）——AgentOS 的内核设计：调度、记忆与自我反思机制》在过去几年中，AI 的发展从“模型”走向了“系统”。当 ChatGPT、Claude、Gemini 等大模型被封装进“Agent 框架”后，世界开始逐渐认识到：模型并非智能的全部，它只是智能系统的一个算子（operator）。真正能让模型具备“意图”、“上下文”和“自我修正能力”的，是背后的操作系统——也就是我们所称的 AgentOS。

递归不收敛

大语言模型（LLM）入门笔记：嵌入向量与位置信息你可以把嵌入向量理解成文字的"数字翻译器"。计算机看不懂"猫""狗"这些文字，只能处理数字，嵌入向量就负责把文字转换成一串数字（比如[0.2, 0.5, -0.3]），同时还保留了文字的意思。

【大语言模型】—— 自注意力机制及其变体（交叉注意力、因果注意力、多头注意力）的代码实现本文介绍了注意力机制的几种变体及其PyTorch代码实现。主要包括：代码实现中详细展示了各注意力的关键操作，包括线性变换、注意力分数计算、softmax归一化和掩码处理等。特别解释了dim=-1的作用、unsqueeze(0)的广播机制等实现细节。

本地实现斯坦福小镇（利用大语言模型使虚拟角色自主发展剧情）类似项目“Microverse”“斯坦福小镇”（也被称为 “AI 小镇 / Generative Agents 项目” / “Stanford AI Town”）最初由斯坦福大学研究团队提出，目的是探索如何让多个智能体（agents）在一个虚拟环境中，以较高的自治性、记忆、互动、推理的能力去“生活”与“社交”。它想模拟一个有基础设施（如房屋、咖啡厅、商店、公园等）的虚拟世界，里面的 AI 智能体能：有自己的“身份”与“背景”，拥有记忆（经历过的事情）能与环境交互（走动、去场所、发起对话、社交活动等），根据自身目标 / 兴趣做决策，在长

未来的 AI 操作系统（二）——世界即界面：自然语言成为新的人机交互协议人机交互的历史，其实是一部“翻译史”。从最初的打孔卡、汇编代码，到命令行（CLI），再到图形界面（GUI），我们一直在让机器“听懂人话”的路上前行。

EvalScope模型压力测试实战实际生产中，我们成功在服务器上部署好了模型，可能是量化的，也可能是非量化的模型。比如使用vllm,ollama,llama.cpp等推理框架部署模型后，在日志中只能看到简单平均生成token的速度，如果是并发之类的，可能需要手动写代码进行测试，分析指标，整个过程还是挺麻烦的，本篇文章将介绍一个开源的模型压力测试工具，更好地解决我们的问题。

论文见解：REACT：在语言模型中协同推理和行动我阅读了普林斯顿大学和谷歌大脑研究人员的《REACT：在语言模型中协同推理和行动》。该论文发表在 ICLR 2023 上，讨论了一种 LLM 提示方法，该方法帮助 LLM 在需要推理和行动的复杂环境中表现良好。人类可以轻松地将以任务为导向的行动与口头推理结合起来。行动和推理之间的这种协同作用使人类能够快速学习新任务，并针对看不见的情况做出稳健的决策。

鸿蒙小白龙

OpenHarmony平台大语言模型本地推理：llama深度适配与部署技术详解大语言模型（LLM）正从云端向边缘设备渗透，以满足低延迟、高隐私和离线使用的需求。OpenHarmony 作为一个功能强大的分布式操作系统，为在各类终端设备上运行 AI 模型提供了理想的平台。llama.cpp 是一个广受欢迎的 C/C++ 实现，它使得在消费级硬件上运行 LLaMA 系列模型成为可能。 ohosllama.cpp 项目正是将 llama.cpp 的核心能力引入 OpenHarmony 生态的桥梁。本指南将系统性地讲解该项目的实现原理，并带领开发者完成从源码整合、构建配置、NAPI 接口封

对图片进行解释的大语言模型这类模型可以分为两大类：闭源/商业API和开源/可自部署。这些模型通常性能强大，但需要联网、按调用次数付费，且数据需要发送到厂商的服务器。

基于MCP协议的多AGENT文章自动编写系统开发一个使用MCP (Model Context Protocol) 的多代理系统，能够协作完成文章写作任务。系统包含四个专业化代理，按顺序协作完成从研究到最终成稿的完整流程。

构建基于大语言模型的智能数据可视化分析工具的学习总结结合大语言模型（LLM）与 Python 数据生态，构建一个“自然语言驱动”的智能可视化分析工具，正成为新一代数据分析平台的发展方向。本文梳理了实现此类工具所需的完整知识体系与技术方案。

拖拽式构建智能体的框架拖拽式构建智能体的开源框架比较多，例如：偏向工作流：coze、sim、n8n等；偏向RAG的有：Dify、RagFlow、MaxKB等；支持使用国产coze，学习成本低，相对好用和成熟。

从零理解 KV Cache：大语言模型推理加速的核心机制在当前大语言模型（Large Language Models, LLMs）的工程实践中，如何提升推理效率已成为一个核心课题。尽管训练阶段决定了模型的能力上限，但真正影响用户体验和部署成本的，往往是推理阶段的响应速度与资源消耗。在众多优化手段中，KV Cache（键值缓存）被广泛认为是实现高效文本生成的关键技术之一。