大模型

DeepSeek时代的Large-scale LLM推理2025年底DeepSeek V3发布炸场，几乎为业界之后的LLM优化方向定了调，尤其是大规模推理优化方面。去年快年底时对LLM的推理优化技术做过一个简单的总结：《LLM时代中的AI推理优化》，现在看来已有很多变化。在DeepSeek V3问世快一年之际，这里简单整理总结一下业界与之相关的推理优化技术。

赋范大模型技术社区

大模型训练的“最后一公里”：为什么强化学习（RL）不可或缺？训练一个出色的大语言模型（LLM），如同培养一个孩子从呱呱坠地到成长为社会精英，需要经历循序渐进的几个核心阶段。我们可以将其类比为一个人的成长历程：

愤怒的可乐

从零构建大模型智能体：构建可调用工具的智能体在现代人工智能应用中，构建能够自主调用外部工具（如搜索引擎、计算器等）以完成复杂任务的智能体（Agent）正变得越来越重要。本文旨在介绍一个通用的、极简的 Agent 基类设计及其具体实现示例——SimpleAgent，它能够基于自然语言输入判断是否调用工具，并将工具结果整合进对话生成最终回答。通过这种设计，智能体既保留了强大的语言理解能力，又能够灵活利用外部工具完成现实世界任务，如网络搜索、数学计算等。文章中还提供了完整的示例工具实现及运行演示，帮助读者快速上手构建可扩展的智能体系统。

深度解析Hugging Face Accelerate：`Trainer`背后的“隐形”分布式引擎标题：PyTorch分布式训练太复杂？Accelerate：三行代码搞定，告别DDP“天书”还在为PyTorch原生的DistributedDataParallel(DDP)训练而头疼吗？init_process_group, DistributedSampler, if rank==0:… 这些繁琐的配置劝退了无数开发者。本文将为你介绍 Hugging Face 的 Accelerate 库，并与原生DDP做清晰对比，让你明白它如何用最少的代码，实现最优雅的多卡训练。

[硬核解析] 从感知到交互：InternVideo 1/2/2.5 全系列架构演进与原理解析在多模态大模型（MLLM）爆发的浪潮中，上海人工智能实验室（OpenGVLab）推出的 InternVideo（书生·多模态视频）系列一直是视频理解领域的标杆。

推荐大模型系列-NoteLLM: A Retrievable Large Language Model for Note Recommendation（三）目录一、实验1.1 数据集与实验设置1.2 离线性能评估1.3 不同曝光量笔记的效果1.4 消融实验1.5 CSFT模块中数据多样性的影响

【论文速递】2025年第32周(Aug-03-09)(Robotics/Embodied AI/LLM)中文使用 googletrans 翻译，翻译不对的地方以英文为准We present Qwen-Image, an image generation foundation model in the Qwen series that achieves significant advances in complex text rendering and precise image editing. To address the challenges of complex text rendering, we

阿正的梦工坊

DreamGym：通过经验合成实现代理学习的可扩展化今天，我们来聊聊一篇刚刚发布的论文：《Scaling Agent Learning via Experience Synthesis》（通过经验合成实现代理学习的扩展）。这篇论文由Meta Superintelligence Labs和FAIR团队主导，发表于2025年11月7日（arXiv:2511.03773v2）。如果你已经熟悉PPO（Proximal Policy Optimization）和GRPO（Group Relative Policy Optimization）等RL算法，这篇论文会特别

XTuner大模型微调实战指南：核心原理与Ubuntu 22.04全流程详解作者：吴业亮博客：wuyeliang.blog.csdn.netXTuner 是由上海人工智能实验室开发的开源工具，专注于大语言模型（LLM）的高效微调。它支持在几乎所有GPU（包括仅8GB显存的设备）上对LLM进行预训练或微调，甚至能处理7B规模的模型。秉承“开箱即用”的设计理念，XTuner 提供了丰富的预设配置与直观的命令行接口，大幅降低使用门槛。

【LLM应用】Codex & Codex CLI使用Codex Cli、对标 Claude Code 适合：喜欢命令行、自动化脚本、批量处理任务。特点：轻量、快速、可集成 CI/CD。 ✅ 在您的 IDE 中尝试支持 VS Code、Cursor、Windsurf 等。特点：图形界面友好，适合日常开发、边写边问。

Nano-vLLM-Ascend参考 https://github.com/linzm1007/nano-vllm-ascendnano-vllm是开源的一个gpu推理项目，基于开源版本弄的一个ascend npu版本推理小demo，旨在帮助初学者了解推理的整体流程，区别于vllm，nano-vllm体量更小，麻雀虽小五脏俱全，更有助于初学者学习。

Transformers 微调预训练模型：原理到实践（Ubuntu22.04 + Conda）作者：吴业亮博客：wuyeliang.blog.csdn.netTransformers模型的优势在于“通用预训练+任务特定微调”：

Qwen3-8B大模型微调实战Unsloth 是一个专门为 Llama 3.3、Mistral、Phi-4、Qwen 2.5 和 Gemma 等模型设计的微调加速框架。该项目由 Daniel Han 和 Michael Han 领导的团队开发，旨在为开发者提供一个高效、低内存的微调解决方案。

AI大模型学徒

大模型应用开发(九)_LangChain提示词模板提示词工程的基石：LangChain 提示词模板的艺术与实践在 LLM 应用开发中，提示词（Prompt）是核心。但如果直接将提示词硬编码在代码中，会导致代码混乱、难以维护、不易优化。

袋鼠云数栈

官宣！ChunJun 1.16 Release 版本发布！亲爱的社区小伙伴们，我们很高兴地宣布，ChunJun 迎来 1.16 Release 版本的正式发布。在新版本中，ChunJun 新增了一批常用功能，进行了多项功能优化和问题修复，并在用户使用体验上进行了极大地改善。有9位Contributor 为 ChunJun 提交了多项优化和修复，感谢因为有你们才让 ChunJun 变得更好！

LLaMA-Factory 分布式训练实践作者：吴业亮博客：wuyeliang.blog.csdn.net无需额外配置文件，通过 torchrun 启动即可，LLaMA-Factory 会自动适配 DDP。

我很哇塞耶

告别VAE压缩损耗，南京大学用DiP让扩散模型回归像素空间，实现10倍加速与SOTA级画质扩散模型（Diffusion Models）重塑了图像合成、视频生成和3D创作的格局，全面超越了生成对抗网络（GANs），但其背后的算力消耗惊人。

从原理到部署：LLaMA Factory 量化实战（Ubuntu 22.04）——PTQ/GPTQ/AWQ 等 9 种方法作者：吴业亮博客：wuyeliang.blog.csdn.net本文系统讲解LLaMA Factory中主流量化方法的核心原理，并基于Ubuntu 22.04环境完成PTQ/GPTQ/AWQ等9种量化方案的实操落地，涵盖环境搭建、命令行实现、关键参数调优，适配LLaMA/LLaMA2/LLaMA3等主流模型。

基于MLC-LLM的轻量级大模型手机端部署实战目录摘要一、为什么选择MLC-LLM？1.1 移动端大模型部署的三大痛点1.2 MLC-LLM的核心优势

阿正的梦工坊

τ-bench：重塑Agent评估的工具-代理-用户交互基准今天，我们来聊聊一篇arXiv预印本论文：《τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains》（arXiv:2406.12045v1）。这篇由Shunyu Yao等Sierra研究者撰写的论文，针对当前Agent基准的痛点——缺乏真实人类交互和领域规则遵循测试——提出一个创新基准τ-bench。作为Agent大模型研究者，我们常常纠结于如何评估模型在动态、多模态交互中的鲁棒性？这篇论文的亮点在于其模块化框架