llm

scaled_dot_product_attention实现SDPA 是 Transformer 注意力机制的核心，公式如下：关键要素：以下是纯 PyTorch 手动实现的 SDPA，包含缩放、注意力掩码、因果掩码核心逻辑，注释详细且适配新手理解：

CoderJia程序员甲

GitHub 热榜项目 - 日榜(2025-12-26)生成于：2025-12-26共发现热门项目： 13 个榜单类型：日榜本期GitHub热榜显示人工智能技术落地应用正全面提速，热点聚焦于提升大型语言模型的实用性与效率。以Yuxi-Know和LEANN为代表的RAG项目通过集成知识图谱与轻量化技术，显著优化了知识库的构建成本与检索精度；vllm-omni和LightX2V等项目致力于多模态模型的高效推理与视频生成，推动AI处理复杂现实任务的能力边界。同时Pathway等流式数据处理框架和claude-code-templates等开发工具的热度攀升，反映出行

24页大语言模型（LLM）入门指南：从核心定义、训练三步法到 Llama 3.1 实操部署本文较长，建议点赞收藏。更多AI大模型应用开发学习视频及资料，在这里。大语言模型（LLM)，是一种能够理解并生成我们日常使用的语言的 AI工具。例如，如果你问中国首都的名字是什么？它的核心是通过大量的文本数据来“学”懂语言规则，并且能够预测接下来的单词和句子应该是什么，如“中国首都是北京。”

RAG评测完整指南：指标、测试和最佳实践本文较长，建议点赞收藏。更多AI大模型应用开发学习视频及资料，在这里。RAG（Retrieval-Augmented Generation，检索增强生）最初由Facebook AI Research（现Meta AI）团队在论文 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 中提出，并发表于NeurIPS 2020。

用 LangChain 玩转大模型：从零搭建你的第一个 AI 应用一句话概括：LangChain 是一个让你像搭积木一样构建 AI 应用的工程化框架。在 ChatGPT 横空出世、Transformer 架构席卷全球的 2022 年，你可能以为 LangChain 是为了“蹭热度”才诞生的。但其实——LangChain 比 ChatGPT 还早！它早在 LLM（大语言模型）爆发前就默默布局，如今已推出 1.0+ 稳定版本，成为构建 AI 应用的事实标准之一。

赋予大模型“记忆”：深度解析 LangChain 中 LLM 的上下文记忆实现“我叫 Agiao，喜欢喝白兰地。” —— 你说完这句话，转身离开。再回来问：“我叫什么名字？” 如果 AI 回答“我不知道”，那它只是个无状态的 API；如果它回答“Agiao”，那它就拥有了记忆。

温度设为 0 仍然不完全确定：LLM 推理非确定性从哪来、怎么测、如何缓解很多团队会把 LLM 的 temperature 设为 0，期待“同一 prompt 每次输出都一模一样”。但你可能已经亲眼见过：即便温度为 0，输出仍偶尔出现轻微差异。

Advanced-RAG原理：RAG-Fusion 检索增强生成的多查询融合实战图片来源网络，侵权联系删。在构建AI问答系统时，很多Web开发者会直接采用“用户输入 → 向量检索 → LLM生成”的经典RAG（Retrieval-Augmented Generation）流程。这就像我们在电商网站实现一个商品搜索框：用户输入“轻薄笔记本”，系统返回匹配的商品列表。

阿正的梦工坊

论文阅读WebDancer: Towards Autonomous Information Seeking Agency今天我想和大家分享一篇来自阿里巴巴通义实验室的最新论文：《WebDancer: Towards Autonomous Information Seeking Agency》。这篇论文发表于arXiv（编号2505.22648v3），日期是2025年8月10日，作者包括Jialong Wu、Baixuan Li等一群核心贡献者。论文的GitHub仓库是https://github.com/Alibaba-NLP/WebAgent，感兴趣的朋友可以去看看代码和更多细节。

带刺的坐椅

迈向 MCP 集群化：Solon AI （支持 Java8+）在解决 MCP 服务可扩展性上的探索与实践随着 Model Context Protocol (MCP) 的快速普及，开发者已经不再满足于简单的本地 Stdio 进程通讯。在生产环境中，如何构建高可用、可水平扩展的 MCP 服务集群成为了核心挑战。

你的 AI 为什么总答非所问？缺的不是智商，是“记忆系统”大模型像一位健忘的天才——聪明但记不住事。而 LangChain，就是它的专属笔记本和秘书。在构建聊天机器人时，我们常遇到一个尴尬场景：你刚告诉 AI “我叫田晨枫”，下一秒问“我叫什么”，它却一脸茫然。

一文看懂AI大模型的核心模块：基于强化学习的偏好对齐原理及其应用无论是语言模型还是推荐大模型，基于强化学习的偏好对齐已成为其训练流程中不可或缺的关键环节。本文将系统梳理强化学习在大模型中的实践路径：首先阐明其核心机制与主流算法，继而聚焦语言模型与推荐大模型的典型应用场景，深入解析强化学习如何落地于具体模型的优化过程。

CoderJia程序员甲

GitHub 热榜项目 - 日榜(2025-12-24)生成于：2025-12-24共发现热门项目： 15 个榜单类型：日榜本期GitHub趋势凸显AI工程化与实用化深度融合，焦点集中在RAG技术革新如LEANN和RAGFlow实现高精度私有化部署与存储优化，多模态推理框架vLLM-Omni和分布式AI集群exo降低大模型应用门槛，同时Agent技能平台与LangBot推动智能体在即时通讯场景落地，安全领域PentestGPT和PayloadsAllTheThings展示AI赋能渗透测试实战，整体呈现技术从模型研发向端侧部署、跨模态集成及行业解决方案快速迁移的

突破性框架TRAPO：统一监督微调与强化学习的新范式，显著提升大语言模型推理能力大语言模型的后训练方法正迎来重大突破！清华大学与蚂蚁集团联合提出的TRAPO框架通过创新性地统一SFT与RL训练，在数学推理任务上实现了显著性能提升。该框架解决了传统两阶段训练中的根本性矛盾，通过Trust-Region SFT和自适应专家指导机制，实现了更稳定、更高效的模型训练，为推理增强型LLMs发展开辟了新道路。

让大语言模型拥有“记忆”：多轮对话与 LangChain 实践指南在当前人工智能应用开发中，大语言模型（LLM）因其强大的自然语言理解与生成能力，被广泛应用于聊天机器人、智能客服、个人助理等场景。然而，一个常见的问题是：LLM 本身是无状态的——每一次 API 调用都独立于前一次，就像每次 HTTP 请求一样，模型无法“记住”你之前说过什么。

重铸码农荣光

别再让大模型“胡说八道”了！LangChain 的 JsonOutputParser 教你驯服 AI 输出从“前端模块化”到“AI输出格式”，我们都在和混乱做斗争**你有没有遇到过这样的场景？你辛辛苦苦写了一堆提示词（prompt），满怀期待地调用大模型，结果它回你一段：

程序员柒叔

Langfuse 项目概览项目名称：Langfuse 版本：3.140.0 开源协议：MIT License 官方网站：https://langfuse.com GitHub 仓库：https://github.com/langfuse/langfuse 项目类型：开源 LLM 工程平台（Full-stack Web Application）

LangChain Memory 实战指南：让大模型记住你每一句话，轻松打造“有记忆”的AI助手你有没有遇到过这样的尴尬？向 AI 提问：“我叫张三”，下一秒再问“我叫什么名字？”——它居然说：“抱歉，我不记得了。” 😅

想在云上低成本部署高性能Agent？MiniMax-M2 + DigitalOcean实战指南MiniMax-M2 为开发者提供了一个引人注目的解决方案，它通过一个拥有 2300 亿参数但仅激活 100 亿参数的专家混合模型，来提供编码和智能体能力。该模型在保持与 Claude Sonnet 4.5 和 GPT-5 等尖端模型相媲美的性能的同时，仅需其一小部分计算开销，因此尤其适合那些对成本控制和低延迟有严格要求的部署场景。