llm

震惊！Open AI把Transformer训练成了“几乎全部归零”！OpenAI 挑战了一项被视为不可能的任务：通过将Transformer的权重在训练过程中压缩至接近绝对零值，强制模型仅依赖极少数连接执行全部计算。

大模型教程

开源大模型不求人！一文带你全面入门《开源大模型食用指南》本文较长，建议点赞收藏。更多AI大模型应用开发学习视频及资料，在智泊AI。近年来，随着 ChatGPT 的风靡，大语言模型（LLM）成为人工智能领域的焦点。在海量开源模型涌现的今天，如何快速开始体验、部署、调优这些 LLM，成为众多开发者和研究者的核心问题。而Datawhale倾力打造的《开源大模型食用指南》正是为了解决这一痛点而诞生的宝藏项目。

大模型教程

从 0 到 1，微调一个自己专属的大模型本文较长，建议点赞收藏。更多AI大模型应用开发学习视频及资料，在智泊AI。微调（Fine-tuning）大模型，就像是给一个已经学富五车的大脑（预训练的基础大模型），进行一次针对性的“专业强化训练” 。基础大模型通过海量数据学习了通用的语言规律和世界知识，但对于特定领域、特定任务，它可能还不够“精通”。微调就是利用少量、高质量的领域数据，在基础模型之上继续训练，让模型更好地适应新的任务或领域。也就是让大模型从一个广度很强的通才，在某个领域树上的技能加强变成一位专才。

最好用的开源AI智能体（Agent）开发框架对比：LangChain-AutoGen-LlamaIndex等本文较长，建议点赞收藏。更多AI大模型应用开发学习视频及资料，在智泊AI。随着大模型/LLM 与检索、工具调用、记忆、调度等组合使用成为主流，越来越多框架出现以降低构建“会思考、会规划、会调用工具”的智能体（agent）的门槛。下面我以一名 AI 大模型开发专家的视角，列出目前市面上比较受欢迎且成熟的开源框架，说明它们的定位、核心优势、局限，并给出选型建议与对比表，帮助你快速判断哪个最适合你的项目。

刚入门AI大模型？这6个GitHub开源教程，连微软都忍不住推荐本文较长，建议点赞收藏。更多AI大模型应用开发学习视频及资料，在智泊AI。过去几年，AI 尤其是大语言模型（LLM）发展太快了，不少朋友问我：

MiniRL：用LLM稳定强化学习的新范式与第一阶近似理论这篇论文提出了一种新颖的强化学习与大型语言模型结合的理论框架，揭示了何时以及如何通过token级目标函数优化序列级奖励。通过数十万GPU小时的实验验证，论文系统性地分析了训练稳定性关键因素，为MoE模型的RL训练提供了实用指导方案。

pyenv管理多个版本的python，你造吗?我才造购买的阿里云服务器自带的 openssl版本太低了，1.0.2版本。但是python3.10版本需要的openssl至少是1.1.1版本

【llm相关】受限解码Trie树，参考：https://github.com/HonghuiBao2000/LETTER/blob/master/LETTER-TIGER/generation_trie.py

爱可生开源社区

SCALE | 2025 年 11 月《大模型 SQL 能力排行榜》发布本期 SCALE[1] 评测聚焦于新一代专业级大语言模型在数据库 SQL 领域的表现边界。发版核心内容为 Gemini 3 Pro[2] 和 DeepSeek-V3.2-Exp[3] 两大顶尖模型的首次《深度测评报告》，旨在为用户提供最前沿、最可靠的技术选型依据。

思想的光芒

Agno开发教程系列（六）：工具系统详解教程在 AI Agent 开发中，大语言模型（LLM）本身虽然具备强大的推理和语言理解能力，但它们存在一些固有的局限性：

当前开源旗舰LLM主流架构介绍2025年主流大模型呈现快速迭代态势，各版本频繁更新，部分模型在特定领域实现突破性创新，达到SOTA水平。值得注意的是，开源模型的涌现有力推动了AI技术的民主化进程。具体数据如下图所示：

带刺的坐椅

Solon AI 开发学习11 - chat - 工具调用与定制（Tool Call）Tool call（或 Function call）能够让大语言模型在生成时，“按需”调用外部的工具，进而连接外部的数据和系统。通过定义一组函数作为模型可访问的工具（也叫函数工具），并根据对话历史在适当的时候使用它们。然后在应用端执行这些函数，并将结果反馈给模型。

SGLang启动参数详解下面是一个多卡启动的完整命令示例，并简要说明一个关键性能参数的高级用法。以下示例展示了如何在一台机器上使用 2 张 GPU 运行 Llama-3-8B 模型，并进行了关键性能调优：

黑客思维者

LLM底层原理学习笔记：Adam优化器为何能征服巨型模型成为深度学习的“速度与稳定之王”在大规模深度学习时代，训练拥有数十亿甚至上万亿参数的巨型模型（如 GPT-3、LLaMA）对优化器提出了严苛的挑战。传统的随机梯度下降（SGD）或 Adagrad 等方法，往往因收敛速度慢、对学习率（Learning Rate）敏感等问题而难以胜任。Adam（Adaptive Moment Estimation）优化器凭借其融合**动量（Momentum）和自适应学习率（Adaptive Learning Rate）**的双重优势，在非凸优化空间中展现出卓越的稳定性和效率，已成为大模型训练的首选方案。

什么是幻觉在大语言模型（LLM）的应用落地中，“幻觉”是目前面临的最大挑战之一。简单来说，大模型的幻觉（Hallucination）是指模型生成了看似合理、通顺，但实际上与事实不符、逻辑错误或与其输入源不一致的内容。也就是俗称的“一本正经地胡说八道”。

带刺的坐椅

Solon AI 开发学习10 - chat - 工具调用概念介绍Tool Call（工具调用），也叫 Function Call（函数调用）是大模型的一种接口特性，允许开发者预定义函数并由模型判断是否需要调用，从而实现外部工具或数据的集成。其核心机制是通过JSON格式传递函数名和参数，由宿主应用执行实际操作后返回结果给模型继续生成文本。

国家不保护废物

RAG + Agent + Prompt工程上相信你们在日常使用ai中，都会遇到ai胡说八道的情况，特别是当提问一些比较专业的问题时，而rag的作用就是解决这个问题，本质上就是创建一个自己的向量数据库，每次询问ai时就会先将我们的问题与数据库中的数据进行一个相似性搜索，将相似度达到一定水平时便将改数据库中的该段内容加入我的提问中一起给大模型，以做到一个丰富内容的效果

国家不保护废物

RAG + Agent + Prompt工程中本文是 RAG 系统实战系列的中间篇。在前一篇文章中，我们介绍了 RAG 的基本原理和 LangChain 的核心概念。今天，我们将深入实战环节——手把手教你如何搭建本地向量数据库（Qdrant），并重点讲解文档预处理流程和多语言国际化支持的完整实现方案。

何恺明新作：扩散模型+Transformer才是王炸！何恺明团队再次推出创新成果，延续其"回归本质"的研究理念，提出"Just image Transformers"（JiT）框架。

4. Agent Quality ——【Google 5-Day AI Agents】第四天的白皮书探讨了如何保障 Agent 的工作质量。当前正处于 Agentic 时代的开端，尽管 Agent 能力巨大，但是其固有的非确定性和不可预测性打破了我们传统的质量保障体系。 Agent 的质量保障应植根于架构设计本身，而非仅依赖开发尾声的测试环节。本指南立足于三大核心要义：