自动微分

程序猿编码

纯 C++ 手写 LLM 推理引擎：分页 KV 缓存、连续批、多卡张量并行全部内置如果你玩过 LLM 部署，大概率经历过这样的痛苦：用 Python 调 API 很快，但一到生产环境就要面对 PyTorch 动辄几个 G 的内存开销、GPU 利用率不到 30% 的尴尬，以及"换个模型就要重装一套依赖"的部署噩梦。

程序猿编码

不用 PyTorch！从零手写 C++ 深度学习框架，自动微分、CUDA、分布式一把搞定如果你经常接触深度学习，一定对 PyTorch 或 TensorFlow 的 API 很熟悉。tensor + tensor 就能做加法，.backward() 就能自动求梯度，nn.Module 就能搭网络——这些体验已经成了行业标配。但你是否想过，这些"魔法"背后到底发生了什么？

乱七八糟的屋子

【C++高阶数学】Boost.Math 核心高阶用法全解（数值计算/优化/高精度建模实战）大多数开发者仅使用 Boost.Math 的基础常量、简单特殊函数，完全浪费了这款工业级数学库的真正能力！Boost.Math 真正的核心价值在于高阶数值计算、自动微分、高精度积分、极值优化、姿态运算、任意精度建模，是 C++ 替代 MATLAB、Python 做精密工程仿真、算法优化、科研建模的终极方案。

梯度计算反向传播会不会缓存loss的求导公式PyTorch 不会缓存“符号级的求导公式” 但它会在 forward 时动态构建计算图，在 backward 时高效复用“局部梯度规则”

最小二乘问题详解9：使用Ceres求解非线性最小二乘在上一篇文章《最小二乘问题详解8：Levenberg-Marquardt方法》中，笔者使用 Eigen 实现了求解非线性最小二乘问题的 Levenberg-Marquardt 方法。不过在实际的工程实践中，更多的是使用像 Ceres Solver 这样成熟的、专门用于求解大规模非线性最小二乘问题的库。不过，因为有着极强的专业性，像 Ceres Solver 这样的库使用起来并不容易。如果是初次接触这方面知识的读者，非常建议先读一读本系列的前置文章。

PyTorch 张量与自动微分操作

深度学习碎碎念——碎片知识2范数就像是测量向量的“大小”或“长度”的一种方式。想象你有一个向量，它可以是一个箭头，指向某个方向并且有一定的长度。范数就是用来衡量这个箭头有多长或者有多大。

西西弗Sisyphus

C++ 微积分 - 求导 - 自动微分（Automatic Differentiation）flyfish自动微分（Automatic Differentiation，简称 AD）是一种用于精确计算函数导数的技术。它结合了符号微分的准确性和数值微分的效率。自动微分的核心思想是利用计算图对函数进行分解，通过链式法则高效地计算导数，而无需进行符号运算或近似计算。自动微分能自动计算复杂函数的精确梯度。

PyTorch的自动微分模块【含梯度基本数学原理详解】🍃作者介绍：双非本科大三网络工程专业在读，阿里云专家博主，专注于Java领域学习，擅长web应用开发、数据结构和算法，初步涉猎人工智能和前端开发。 🦅个人主页：@逐梦苍穹 📕所属专栏：人工智能 🌻gitee地址：xzl的人工智能代码仓库 ✈ 您的一键三连，是我创作的最大动力🌹

政安晨：示例演绎TensorFlow的官方指南（一）{基础知识}既然有了官方指南，咱们在官方指南上看看就可以了，为什么还要写示例演绎的文章呢？其实对于初步了解TensorFlow的小伙伴们而言，示例演绎才是最重要的。

我是有底线的