第 10/24 期:深度神经网络的自动求导机制与梯度验证

文章目录

一、为什么计算出梯度还不等于梯度正确

神经网络的训练依赖参数梯度,但"程序返回一个与参数形状相同的数组"并不能证明这个数组就是目标函数的导数。即使损失曲线下降,也可能存在梯度缩放错误、批量平均遗漏、广播轴求和错误或者局部导数写错等问题。错误梯度有时仍然指向下降方向,因此只观察训练是否收敛不足以检查实现。

前面已经介绍计算图、链式法则以及反向传播的基本推导。本期不再重复逐层反向传播的入门过程,而是研究三个更具体的问题:自动求导系统究竟在计算什么;同一导数为何能够以不同的计算方向实现;怎样构造能够发现真实实现错误、同时避免数值误判的梯度验证实验。

考虑一个标量损失函数

L : R p ⟶ R , θ ⟼ L ( θ ) . L:\mathbb R^p\longrightarrow\mathbb R,\qquad \boldsymbol\theta\longmapsto L(\boldsymbol\theta). L:Rp⟶R,θ⟼L(θ).

参数 θ ∈ R p \boldsymbol\theta\in\mathbb R^p θ∈Rp 可以是网络所有权重和偏置按固定顺序展平后的向量。我们希望获得

∇ θ L = ∂ L / ∂ θ 1 ⋯ ∂ L / ∂ θ p T ∈ R p . \nabla_{\boldsymbol\theta}L=\begin{bmatrix}\partial L/\partial\theta_1&\cdots&\partial L/\partial\theta_p\end{bmatrix}^{\mathsf T}\in\mathbb R^p. ∇θL=∂L/∂θ1⋯∂L/∂θpT∈Rp.

这里采用列梯度约定:标量函数对列向量的梯度仍为列向量。对于向量函数 f : R n → R m \boldsymbol f:\mathbb R^n\to\mathbb R^m f:Rn→Rm,雅可比矩阵定义为 J i j = ∂ f i / ∂ x j J_{ij}=\partial f_i/\partial x_j Jij=∂fi/∂xj,因而 J ∈ R m × n J\in\mathbb R^{m\times n} J∈Rm×n。明确这个约定可以消除不少转置混乱。

在数学上,梯度是函数的局部一阶信息;在工程上,梯度还是程序对函数实现的一种承诺。验证工作的目的,就是用相对独立的计算路径检查这一承诺是否成立。

二、自动求导与符号微分、数值微分的边界

2.1 三种方法并不等价

符号微分将函数表达式作为数学对象,使用求导规则生成新的表达式。例如对 f ( x ) = sin ⁡ ( x 2 ) f(x)=\sin(x^2) f(x)=sin(x2) 求导得到 f ′ ( x ) = 2 x cos ⁡ ( x 2 ) f'(x)=2x\cos(x^2) f′(x)=2xcos(x2)。其优势是表达式可分析、可简化,但表达式膨胀、分支控制和复杂程序结构会使直接符号化困难。

数值微分通过相邻函数值估计导数。前向差分与中心差分分别为

D h + f ( x ) = f ( x + h ) − f ( x ) h , D_h^+f(x)=\frac{f(x+h)-f(x)}h, Dh+f(x)=hf(x+h)−f(x),

D h 0 f ( x ) = f ( x + h ) − f ( x − h ) 2 h . D_h^0f(x)=\frac{f(x+h)-f(x-h)}{2h}. Dh0f(x)=2hf(x+h)−f(x−h).

对于足够光滑的函数,在精确算术中前向差分截断误差通常为 O ( h ) O(h) O(h),中心差分为 O ( h 2 ) O(h^2) O(h2)。但浮点计算引入舍入误差,步长过小会造成两个相近函数值相减时的有效数字损失。因此,数值微分不是自动求导的同义词。

自动求导(automatic differentiation,AD)则是在执行数值程序时,依据基本运算的已知导数规则组合局部导数。它计算的是程序所实现函数在当前执行路径上的导数,既不依赖有限差分近似,也不必构造完整符号表达式。

例如

a = x 2 , b = sin ⁡ a , y = 3 b + a \begin{aligned} a&=x^2,\\ b&=\sin a,\\ y&=3b+a \end{aligned} aby=x2,=sina,=3b+a

将复合表达式拆为三个局部操作后,自动求导只需要知道平方、正弦和加法的导数规则。对于该例,链式法则给出

d y d x = ( 3 cos ⁡ ( x 2 ) + 1 ) 2 x . \frac{dy}{dx}=\left(3\cos(x^2)+1\right)2x. dxdy=(3cos(x2)+1)2x.

这个结果是精确链式法则在浮点数上的实现,误差主要来自有限精度运算,而不是人为选择的差分步长。

2.2 自动求导的适用对象是可执行的计算路径

计算图不只是"层与层之间的箭头"。矩阵乘法、切片、广播、求和、指数、对数、条件分支都可以成为图中的操作。动态图系统通常在执行时记录运算关系,静态图系统则可以在执行前对图进行分析与变换。两者都需要为参与求导的算子定义局部微分规则。

如果程序包含由数据决定的分支,求导结果对应实际执行的分支;在分支切换点,数学函数可能不可微。对于索引、排序、取整等离散操作,也不能未经分析就认为存在普通导数。自动求导能正确执行已定义的微分规则,并不意味着所有程序都是处处可微的。

此外,计算图可能包含随机数、外部状态和原地修改。若在两次函数求值中重新采样随机变量,有限差分所比较的就不是同一个确定函数;若反向计算所需的中间值被覆盖,则可能产生错误或触发框架的安全检查。因此,梯度验证首先需要确定被验证函数的输入、输出、状态和随机性。

三、前向模式:传播切向量而不是完整雅可比

令 y = f ( x ) \boldsymbol y=\boldsymbol f(\boldsymbol x) y=f(x),其中 x ∈ R n \boldsymbol x\in\mathbb R^n x∈Rn、 y ∈ R m \boldsymbol y\in\mathbb R^m y∈Rm。对于给定方向 v ∈ R n \boldsymbol v\in\mathbb R^n v∈Rn,定义方向导数

y ˙ = d d t f ( x + t v ) ∣ t = 0 = J f ( x ) v . \dot{\boldsymbol y}=\left.\frac{d}{dt}\boldsymbol f(\boldsymbol x+t\boldsymbol v)\right|{t=0}=J{\boldsymbol f}(\boldsymbol x)\boldsymbol v. y˙=dtdf(x+tv) t=0=Jf(x)v.

这称为雅可比向量积(Jacobian-vector product,JVP)。前向模式不是逐项存储 m × n m\times n m×n 个偏导数,而是让每个中间变量同时携带"原值"和"沿方向 v \boldsymbol v v 的变化率"。

若 z = W x + b \boldsymbol z=W\boldsymbol x+\boldsymbol b z=Wx+b,且当前只对 x \boldsymbol x x 求导、 W W W 和 b \boldsymbol b b 固定,则

z ˙ = W x ˙ . \dot{\boldsymbol z}=W\dot{\boldsymbol x}. z˙=Wx˙.

若接下来逐元素施加可微激活 a = ϕ ( z ) \boldsymbol a=\phi(\boldsymbol z) a=ϕ(z),则

a ˙ = ϕ ′ ( z ) ⊙ z ˙ . \dot{\boldsymbol a}=\phi'(\boldsymbol z)\odot\dot{\boldsymbol z}. a˙=ϕ′(z)⊙z˙.

这里 ⊙ \odot ⊙ 表示 Hadamard 逐元素乘法。对于两个均依赖自变量的矩阵 A ( t ) , B ( t ) A(t),B(t) A(t),B(t),乘积规则是

d d t ( A B ) = A ˙ B + A B ˙ . \frac{d}{dt}(AB)=\dot A B+A\dot B. dtd(AB)=A˙B+AB˙.

不能将这个规则误写成标量式的 2 A A ˙ 2A\dot A 2AA˙,除非满足相应交换条件。矩阵乘法通常不可交换,自动求导必须保留运算次序。

3.1 双数视角

可以把前向模式理解为对数值进行扩展:一个变量由 ( x , x ˙ ) (x,\dot x) (x,x˙) 组成,基本算子同时更新数值和切向量。例如

( x , x ˙ ) ⋅ ( y , y ˙ ) = ( x y , x ˙   y + x   y ˙ ) . (x,\dot x)\cdot(y,\dot y)=(xy,\dot x\,y+x\,\dot y). (x,x˙)⋅(y,y˙)=(xy,x˙y+xy˙).

若 x x x 是唯一输入,设置 x ˙ = 1 \dot x=1 x˙=1 就可以得到对 x x x 的导数;对于多维输入,选择 x ˙ = e i \dot{\boldsymbol x}=\boldsymbol e_i x˙=ei 就得到雅可比的第 i i i 列。要取得完整雅可比,通常需要多个方向,但只关心特定方向的敏感性时,JVP 更有针对性。

3.2 前向模式的成本取决于输入方向数

如果函数从大量参数映射到一个标量损失,分别沿每个参数基方向做前向模式可能很昂贵。相反,对于输入维度很小、输出维度很大的函数,前向模式可能更适合。这里的判断是成本结构,而不是"前向模式比反向模式简单"这样的笼统结论。实际性能还受算子实现、批处理、内存和硬件影响。

四、反向模式:传播伴随量与向量雅可比积

对同一个映射 y = f ( x ) \boldsymbol y=\boldsymbol f(\boldsymbol x) y=f(x),给定输出端向量 u ∈ R m \boldsymbol u\in\mathbb R^m u∈Rm,考虑标量

q ( x ) = u T f ( x ) . q(\boldsymbol x)=\boldsymbol u^{\mathsf T}\boldsymbol f(\boldsymbol x). q(x)=uTf(x).

当 u \boldsymbol u u 视为固定向量时,链式法则给出

∇ x q = J f ( x ) T u . \nabla_{\boldsymbol x}q=J_{\boldsymbol f}(\boldsymbol x)^{\mathsf T}\boldsymbol u. ∇xq=Jf(x)Tu.

这就是向量雅可比积(vector-Jacobian product,VJP),按列梯度约定写为 J T u J^{\mathsf T}\boldsymbol u JTu。许多框架中的反向模式接口都以这种乘积为核心,而不是显式构造完整雅可比。

假设 z = W x + b \boldsymbol z=W\boldsymbol x+\boldsymbol b z=Wx+b,输出端伴随量为 z ˉ = ∂ L / ∂ z \bar{\boldsymbol z}=\partial L/\partial\boldsymbol z zˉ=∂L/∂z(列向量),则

x ˉ = W T z ˉ , ∇ W L = z ˉ x T , ∇ b L = z ˉ . \bar{\boldsymbol x}=W^{\mathsf T}\bar{\boldsymbol z},\qquad \nabla_W L=\bar{\boldsymbol z}\boldsymbol x^{\mathsf T},\qquad\nabla_{\boldsymbol b}L=\bar{\boldsymbol z}. xˉ=WTzˉ,∇WL=zˉxT,∇bL=zˉ.

这里 W ∈ R m × n W\in\mathbb R^{m\times n} W∈Rm×n、 x ∈ R n \boldsymbol x\in\mathbb R^n x∈Rn、 z ˉ ∈ R m \bar{\boldsymbol z}\in\mathbb R^m zˉ∈Rm,所以 ∇ W L ∈ R m × n \nabla_WL\in\mathbb R^{m\times n} ∇WL∈Rm×n。形状检查本身就是最基础的梯度验证。

对于多条计算路径汇合的节点,反向模式需要将不同路径的贡献相加。例如 y = x 2 + 3 x y=x^2+3x y=x2+3x,两条路径分别贡献 2 x 2x 2x 与 3 3 3,得到 d y / d x = 2 x + 3 dy/dx=2x+3 dy/dx=2x+3。如果自定义反向算子覆盖了已有梯度而不是累加,结果会悄悄出错。

4.1 为什么训练通常使用反向模式

训练的典型任务是大量参数 θ ∈ R p \boldsymbol\theta\in\mathbb R^p θ∈Rp 对单个标量损失 L L L 求梯度。反向模式从输出端的种子 L ˉ = 1 \bar L=1 Lˉ=1 出发,一次反向传播就能得到全部参数的梯度;它避免了为每个参数单独进行一次前向模式求导。

这种优势并非"反向传播的计算量总是等于一次前向传播"。不同算子、内存重计算策略、参数共享以及框架开销都会改变常数因素。准确说法是:对标量输出,反向模式可以在与原函数计算成本同一量级的开销内计算完整梯度,而不必按参数个数逐个求导。

4.2 JVP 与 VJP 的维度比较

对一个固定的 12 × 7 12\times7 12×7 雅可比矩阵,JVP 将七维方向映射为十二维输出,VJP 将十二维输出伴随量映射回七维输入空间。为了避免将两者误解成同一向量,图3使用相同的横轴索引画出不同长度的结果,超过对应向量长度的位置没有柱条。它们虽然都由同一雅可比产生,但作用方向、输入空间和输出空间不同。

五、完整网络案例:明确每个张量的维度

采用一个两层全连接回归网络。批量输入 X ∈ R N × d X\in\mathbb R^{N\times d} X∈RN×d,隐藏层宽度为 h h h,输出维度为一。参数为

W 1 ∈ R d × h , b 1 ∈ R h , W 2 ∈ R h × 1 , b 2 ∈ R . W_1\in\mathbb R^{d\times h},\quad \boldsymbol b_1\in\mathbb R^h,\quad W_2\in\mathbb R^{h\times1},\quad b_2\in\mathbb R. W1∈Rd×h,b1∈Rh,W2∈Rh×1,b2∈R.

前向计算定义为

Z = X W 1 + 1 N b 1 T , A = tanh ⁡ Z , Z=XW_1+\boldsymbol1_N\boldsymbol b_1^{\mathsf T},\qquad A=\tanh Z, Z=XW1+1Nb1T,A=tanhZ,

y ^ = A W 2 + b 2 1 N , r = y ^ − y . \widehat{\boldsymbol y}=AW_2+b_2\boldsymbol1_N,\qquad \boldsymbol r=\widehat{\boldsymbol y}-\boldsymbol y. y =AW2+b21N,r=y −y.

其中 Z , A ∈ R N × h Z,A\in\mathbb R^{N\times h} Z,A∈RN×h, y ^ , y , r ∈ R N × 1 \widehat{\boldsymbol y},\boldsymbol y,\boldsymbol r\in\mathbb R^{N\times1} y ,y,r∈RN×1。使用半均方误差

L = 1 2 N r T r . L=\frac1{2N}\boldsymbol r^{\mathsf T}\boldsymbol r. L=2N1rTr.

其微分为

d L = 1 N r T d y ^ . dL=\frac1N\boldsymbol r^{\mathsf T}d\widehat{\boldsymbol y}. dL=N1rTdy .

因而输出层伴随量为

G 2 = ∂ L ∂ y ^ = r N ∈ R N × 1 . G_2=\frac{\partial L}{\partial\widehat{\boldsymbol y}}=\frac{\boldsymbol r}{N}\in\mathbb R^{N\times1}. G2=∂y ∂L=Nr∈RN×1.

对于输出层 y ^ = A W 2 + b 2 1 N \widehat{\boldsymbol y}=AW_2+b_2\boldsymbol1_N y =AW2+b21N,展开微分

d y ^ = d A   W 2 + A   d W 2 + 1 N   d b 2 . d\widehat{\boldsymbol y}=dA\,W_2+A\,dW_2+\boldsymbol1_N\,db_2. dy =dAW2+AdW2+1Ndb2.

将其代入 d L = tr ⁡ ( G 2 T d y ^ ) dL=\operatorname{tr}(G_2^{\mathsf T}d\widehat{\boldsymbol y}) dL=tr(G2Tdy ),并把各参数的微分项整理成 Frobenius 内积,可得

∇ W 2 L = A T G 2 , ∂ L ∂ b 2 = 1 N T G 2 . \nabla_{W_2}L=A^{\mathsf T}G_2,\qquad \frac{\partial L}{\partial b_2}=\boldsymbol1_N^{\mathsf T}G_2. ∇W2L=ATG2,∂b2∂L=1NTG2.

继续向隐藏层传播:

G A = G 2 W 2 T ∈ R N × h . G_A=G_2W_2^{\mathsf T}\in\mathbb R^{N\times h}. GA=G2W2T∈RN×h.

由于 tanh ⁡ ′ ( z ) = 1 − tanh ⁡ 2 ( z ) \tanh'(z)=1-\tanh^2(z) tanh′(z)=1−tanh2(z),得到

G Z = G A ⊙ ( 1 − A ⊙ A ) . G_Z=G_A\odot(1-A\odot A). GZ=GA⊙(1−A⊙A).

最后对第一层的微分 d Z = X   d W 1 + 1 N   d b 1 T dZ=X\,dW_1+\boldsymbol1_N\,d\boldsymbol b_1^{\mathsf T} dZ=XdW1+1Ndb1T 进行整理,得到

∇ W 1 L = X T G Z , ∇ b 1 L = G Z T 1 N . \nabla_{W_1}L=X^{\mathsf T}G_Z,\qquad \nabla_{\boldsymbol b_1}L=G_Z^{\mathsf T}\boldsymbol1_N. ∇W1L=XTGZ,∇b1L=GZT1N.

注意, G Z G_Z GZ 已经包含了来自 G 2 G_2 G2 的 1 / N 1/N 1/N,因此这里不应再次除以 N N N。若采用求和损失而不是平均损失,梯度尺度也会相应变化。检查实现时,必须将损失定义与反向公式作为一个整体。

5.1 广播与梯度归约

在 NumPy 中,X @ W1 + b1 会把一维偏置广播到每个样本。前向广播看起来没有显式复制,但反向时,每个样本都对同一偏置参数产生贡献。因此,偏置梯度应沿批量轴求和,而不是直接返回一个 N × h N\times h N×h 数组,也不是沿隐藏维度求和。

这一规则可以推广:对一个因广播而重复参与计算的变量,其梯度需要沿前向时扩展的轴进行归约。对于维度为一的轴,常常还需要恢复原始张量形状。形状错误有时会立即报错,但在某些兼容广播的情况下,错误计算仍可能运行,因此必须显式验证。

六、梯度验证:从有限差分到可操作的判据

6.1 为什么中心差分更适合作为基准

对一维函数在 x x x 附近作泰勒展开:

f ( x + h ) = f ( x ) + h f ′ ( x ) + h 2 2 f ′ ′ ( x ) + h 3 6 f ′ ′ ′ ( x ) + O ( h 4 ) , f(x+h)=f(x)+hf'(x)+\frac{h^2}{2}f''(x)+\frac{h^3}{6}f'''(x)+O(h^4), f(x+h)=f(x)+hf′(x)+2h2f′′(x)+6h3f′′′(x)+O(h4),

f ( x − h ) = f ( x ) − h f ′ ( x ) + h 2 2 f ′ ′ ( x ) − h 3 6 f ′ ′ ′ ( x ) + O ( h 4 ) . f(x-h)=f(x)-hf'(x)+\frac{h^2}{2}f''(x)-\frac{h^3}{6}f'''(x)+O(h^4). f(x−h)=f(x)−hf′(x)+2h2f′′(x)−6h3f′′′(x)+O(h4).

两式相减并除以 2 h 2h 2h,得到

f ( x + h ) − f ( x − h ) 2 h = f ′ ( x ) + h 2 6 f ′ ′ ′ ( x ) + O ( h 4 ) . \frac{f(x+h)-f(x-h)}{2h}=f'(x)+\frac{h^2}{6}f'''(x)+O(h^4). 2hf(x+h)−f(x−h)=f′(x)+6h2f′′′(x)+O(h4).

这说明在函数具有足够光滑性且忽略浮点误差时,中心差分比前向差分具有更高的局部精度。但是,若两次函数值的绝对误差量级为 ϵ f \epsilon_f ϵf,相减再除以 h h h 会产生大约 O ( ϵ f / h ) O(\epsilon_f/h) O(ϵf/h) 的误差。实际误差可粗略表示为

E ( h ) ≲ C 1 h 2 + C 2 ϵ f h . E(h)\lesssim C_1h^2+C_2\frac{\epsilon_f}{h}. E(h)≲C1h2+C2hϵf.

这不是对所有程序都成立的精确等式,而是解释步长权衡的误差模型。较大步长受截断误差影响,极小步长受舍入和消去影响,中间通常存在较稳定的区间。

图1比较同一网络所有参数在不同步长下的最大绝对梯度误差。横轴是步长 h h h,纵轴是解析梯度与差分梯度之间的最大绝对误差。它的目的不是给出一个对所有网络都适用的固定步长,而是观察两类误差如何竞争。

图1:前向差分与中心差分的误差随步长变化的曲线。

6.2 检查所有参数,而不是只挑一个权重

设展平后的参数为 θ = ( θ 1 , ... , θ p ) \boldsymbol\theta=(\theta_1,\ldots,\theta_p) θ=(θ1,...,θp),中心差分的第 i i i 个分量为

g i F D = L ( θ + h e i ) − L ( θ − h e i ) 2 h . g_i^{\mathrm{FD}}=\frac{L(\boldsymbol\theta+h\boldsymbol e_i)-L(\boldsymbol\theta-h\boldsymbol e_i)}{2h}. giFD=2hL(θ+hei)−L(θ−hei).

其中 e i \boldsymbol e_i ei 是第 i i i 个标准基向量。计算完全部分量后,可以比较最大绝对误差

E ∞ = max ⁡ i ∣ g i A D − g i F D ∣ . E_\infty=\max_i|g_i^{\mathrm{AD}}-g_i^{\mathrm{FD}}|. E∞=imax∣giAD−giFD∣.

还可以报告归一化误差

E r e l = ∥ g A D − g F D ∥ 2 max ⁡ ( 1 , ∥ g A D ∥ 2 , ∥ g F D ∥ 2 ) . E_{\mathrm{rel}}=\frac{\|\boldsymbol g^{\mathrm{AD}}-\boldsymbol g^{\mathrm{FD}}\|_2}{\max(1,\|\boldsymbol g^{\mathrm{AD}}\|_2,\|\boldsymbol g^{\mathrm{FD}}\|_2)}. Erel=max(1,∥gAD∥2,∥gFD∥2)∥gAD−gFD∥2.

这里分母的 1 1 1 是为了避免在接近零梯度时把很小的绝对误差夸大成巨大比例误差;这是一个实用诊断定义,而非唯一标准。对于不同尺度的参数块,最好分别报告绝对误差和相对误差。

图2逐个绘制展平参数的解析梯度与中心差分结果。横轴是参数索引,纵轴是对应梯度。除了数值接近,还应检查是否存在某一连续参数块系统性偏离,这常提示特定层的转置、求和轴或归一化有误。

图2:解析反向梯度与中心差分梯度的逐参数对比。

6.3 JVP 和 VJP 不是完整雅可比的两种写法

对于 J ∈ R m × n J\in\mathbb R^{m\times n} J∈Rm×n,给定 v ∈ R n \boldsymbol v\in\mathbb R^n v∈Rn 和 u ∈ R m \boldsymbol u\in\mathbb R^m u∈Rm,两种乘积分别为

J v ∈ R m , J T u ∈ R n . J\boldsymbol v\in\mathbb R^m,\qquad J^{\mathsf T}\boldsymbol u\in\mathbb R^n. Jv∈Rm,JTu∈Rn.

它们之间存在一个非常有用的内积恒等式:

u T ( J v ) = ( J T u ) T v . \boldsymbol u^{\mathsf T}(J\boldsymbol v)=(J^{\mathsf T}\boldsymbol u)^{\mathsf T}\boldsymbol v. uT(Jv)=(JTu)Tv.

如果分别实现了 JVP 与 VJP,就可以利用该恒等式做一致性检查,而不必显式存储 J J J。不过,两个实现可能共享同一个错误的局部算子规则,因此内积一致并不能单独证明它们都正确。应结合有限差分或已知解析案例交叉验证。

图3使用随机矩阵说明两个乘积的输出维度不同。柱形高度仅表示一次固定随机实验中的数值,并不代表普遍的梯度分布规律。

图3:同一雅可比矩阵的正向与反向向量乘积。

6.4 高维模型适合先做方向导数检查

逐参数中心差分需要约 2 p 2p 2p 次损失函数求值,当参数量达到百万级时通常不现实。可以随机选取单位方向 v ∈ R p \boldsymbol v\in\mathbb R^p v∈Rp,比较

L ( θ + h v ) − L ( θ − h v ) 2 h 与 ∇ L ( θ ) T v . \frac{L(\boldsymbol\theta+h\boldsymbol v)-L(\boldsymbol\theta-h\boldsymbol v)}{2h} \quad\text{与}\quad \nabla L(\boldsymbol\theta)^{\mathsf T}\boldsymbol v. 2hL(θ+hv)−L(θ−hv)与∇L(θ)Tv.

这样每个方向只需两次额外的损失求值,成本不直接随参数数量线性增长。随机方向能够较快发现整体梯度不一致,但不能保证定位每一个错误分量。例如,误差向量恰好与所选方向近似正交时,检查可能漏报。因此可以使用多个随机方向,发现问题后再对相关参数块做逐元素检查。

图4显示一个固定随机方向上的中心差分误差随步长变化。该图与图1互补:图1检查所有参数分量,图4验证梯度向量在某一方向上的投影。

图4:随机方向上的解析方向导数与中心差分误差。

七、不可微点与梯度校验中的"假失败"

以 ReLU 为例, ReLU ⁡ ( x ) = max ⁡ ( 0 , x ) \operatorname{ReLU}(x)=\max(0,x) ReLU(x)=max(0,x),当 x < 0 x<0 x<0 时导数为零,当 x > 0 x>0 x>0 时导数为一,在 x = 0 x=0 x=0 处经典导数不存在。某些实现约定在零点返回零作为反向规则。这个选择不意味着数学函数在零点突然变得可微。

在零点做中心差分得到

ReLU ⁡ ( h ) − ReLU ⁡ ( − h ) 2 h = 1 2 , h > 0. \frac{\operatorname{ReLU}(h)-\operatorname{ReLU}(-h)}{2h}=\frac12,\qquad h>0. 2hReLU(h)−ReLU(−h)=21,h>0.

它与约定的零点反向导数 0 0 0 不一致,但不能据此断言框架实现错误。这里比较的是不可微点附近的对称割线与一个特定的局部梯度约定,两者本来就不必相等。

图5同时绘制 ReLU 函数与一种常见的零点导数约定,展示为何零点不能作为普通光滑函数的差分校验点。

图5:ReLU 函数及零点取零的导数约定。

同样的问题还出现在绝对值、最大池化的并列最大值、分段损失的切换边界等位置。对于这些操作,应该在远离切换点的区域做常规差分校验,并单独检查边界处的实现约定。若模型包含随机失活、随机增强或训练模式下随批量变化的统计量,也应先固定随机种子与状态,必要时将其替换为确定性计算。

八、完整 NumPy 实验与可复现步骤

本实验不依赖深度学习框架,直接使用 NumPy 编写两层网络的前向计算、解析反向梯度、逐参数有限差分、随机方向导数,以及 JVP/VJP 的线性代数演示。图形使用 Matplotlib。建议使用 Python 3.10 及以上版本,安装依赖:

bash 复制代码
python -m pip install numpy matplotlib
python experiment.py

实验数据由固定种子的伪随机数生成,无需联网下载。输入矩阵形状为 ( 18 , 3 ) (18,3) (18,3),隐藏层宽度为 5 5 5,标量输出;总参数量为 3 × 5 + 5 + 5 + 1 = 26 3\times5+5+5+1=26 3×5+5+5+1=26。目标值由输入的正弦项与二次项组成,目的是形成非平凡但可控的回归损失,而非模拟真实业务数据。

下面给出完整代码。其保存路径与图1至图5对应,代码中的 loss_grad 返回损失值和展平参数梯度,diff 用有限差分构造独立数值基准。

python 复制代码
import numpy as np
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
from pathlib import Path
P=Path(__file__).resolve().parent/'images';P.mkdir(exist_ok=True)
plt.rcParams['font.family']='DejaVu Sans'
rng=np.random.default_rng(20261118)

def loss_grad(theta,X,y):
    d,h=X.shape[1],5
    W1=theta[:d*h].reshape(d,h); b1=theta[d*h:d*h+h]; W2=theta[d*h+h:d*h+2*h].reshape(h,1); b2=theta[-1]
    z=X@W1+b1; a=np.tanh(z); r=(a@W2+b2).ravel()-y
    L=.5*np.mean(r*r)
    g2=(r[:,None]/len(y));gw2=a.T@g2;gb2=g2.sum()
    dz=(g2@W2.T)*(1-a*a)
    gw1=X.T@dz;gb1=dz.sum(axis=0)
    return L,np.r_[gw1.ravel(),gb1,gw2.ravel(),gb2]
X=rng.normal(size=(18,3));y=np.sin(X[:,0])+0.3*X[:,1]**2
th=rng.normal(scale=.3,size=3*5+5+5+1)
L,g=loss_grad(th,X,y)

def diff(k,method='central'):
    ans=np.empty_like(g)
    for i in range(len(g)):
        t=th.copy();t[i]+=k;lp=loss_grad(t,X,y)[0]
        if method=='central':
            t[i]-=2*k;lm=loss_grad(t,X,y)[0];ans[i]=(lp-lm)/(2*k)
        else:ans[i]=(lp-L)/k
    return ans
# 1 finite difference error
hs=np.logspace(-1,-12,24);ef=[];ec=[]
for h in hs:
    ef.append(np.max(np.abs(diff(h,'forward')-g)))
    ec.append(np.max(np.abs(diff(h)-g)))
fig,ax=plt.subplots(figsize=(8,4.5));ax.loglog(hs,ef,'o-',label='Forward difference');ax.loglog(hs,ec,'s-',label='Central difference');ax.set(xlabel='Step size h',ylabel='Maximum absolute gradient error',title='Finite difference: truncation vs rounding');ax.grid(True,which='both',alpha=.3);ax.legend();fig.tight_layout();fig.savefig(P/'figure_01_step_size.png',dpi=160);plt.close(fig)
#2 gradient component comparison
ng=diff(1e-5);fig,ax=plt.subplots(figsize=(8,4.5));ax.plot(g,'o',label='Analytic reverse gradient',ms=4);ax.plot(ng,'x',label='Central difference',ms=5);ax.set(xlabel='Flattened parameter index',ylabel='Gradient',title='Full-parameter gradient check');ax.grid(alpha=.3);ax.legend();fig.tight_layout();fig.savefig(P/'figure_02_components.png',dpi=160);plt.close(fig)
#3 JVP VJP
A=rng.normal(size=(12,7));v=rng.normal(size=7);u=rng.normal(size=12)
fig,ax=plt.subplots(figsize=(8,4.5));ax.bar(np.arange(12)-.18,A@v,width=.36,label='JVP: Jv');ax.bar(np.arange(7)+.18,A.T@u,width=.36,label='VJP: J^T u');ax.set(xlabel='Output component index',ylabel='Value',title='Directional products (different output dimensions)');ax.grid(axis='y',alpha=.3);ax.legend();fig.tight_layout();fig.savefig(P/'figure_03_jvp_vjp.png',dpi=160);plt.close(fig)
#4 directional derivatives
v=rng.normal(size=len(th));v/=np.linalg.norm(v); hs2=np.logspace(-1,-9,25);dr=[]
for h in hs2:
    dr.append(abs((loss_grad(th+h*v,X,y)[0]-loss_grad(th-h*v,X,y)[0])/(2*h)-g@v))
fig,ax=plt.subplots(figsize=(8,4.5));ax.loglog(hs2,dr,'o-');ax.set(xlabel='Step size h',ylabel='Absolute directional derivative error',title='Directional derivative validation');ax.grid(True,which='both',alpha=.3);fig.tight_layout();fig.savefig(P/'figure_04_directional.png',dpi=160);plt.close(fig)
#5 nondifferentiable ReLU example
xx=np.linspace(-2,2,401);fig,ax=plt.subplots(figsize=(8,4.5));ax.plot(xx,np.maximum(0,xx),label='ReLU(x)');ax.plot(xx,np.where(xx>0,1,0),label='Selected derivative (at 0: 0)');ax.axvline(0,color='gray',ls='--');ax.set(xlabel='x',ylabel='Value',title='ReLU and a derivative convention');ax.grid(alpha=.3);ax.legend();fig.tight_layout();fig.savefig(P/'figure_05_relu.png',dpi=160);plt.close(fig)
print('loss',L,'max_error',np.max(abs(ng-g)),'directional_error',dr[12]);print('figures',len(list(P.glob('*.png'))))

8.1 结果解释与误差来源

在固定随机种子与双精度浮点计算下,本次运行得到初始损失约为 0.3297407143 0.3297407143 0.3297407143。以 h = 10 − 5 h=10^{-5} h=10−5 做逐参数中心差分,最大绝对梯度误差约为 1.63 × 10 − 11 1.63\times10^{-11} 1.63×10−11。这一结果表明,在当前数据、参数和数值精度下,解析反向实现与独立的中心差分近似高度一致;它不是对任意输入和任意网络结构的正确性证明。

检查代码可以发现,损失计算使用 0.5 mean ⁡ ( r 2 ) 0.5\operatorname{mean}(r^2) 0.5mean(r2),因此反向的输出梯度是 r / N r/N r/N,而不是 2 r / N 2r/N 2r/N。如果把损失改成普通均方误差 mean ⁡ ( r 2 ) \operatorname{mean}(r^2) mean(r2),则输出梯度必须相应乘以 2 2 2。这类看似简单的系数错误,会使所有参数梯度系统性偏离。

差分误差随步长变化并非单调下降。若只选择极小步长进行一次检查,可能把舍入误差误判为梯度错误。更可靠的办法是绘制误差---步长曲线,在多个数量级上寻找稳定区间,并结合参数块级别的相对误差。对于非常接近零的梯度分量,绝对误差往往比相对误差更有解释力。

8.2 检查实验是否真的相互独立

虽然有限差分与解析梯度使用不同的求导方式,但它们共享同一个损失函数实现。若损失函数本身就偏离原始数学目标,有限差分可能仍然与错误目标的解析梯度一致。因此,梯度验证至少包含两层含义:首先验证程序对自身损失函数求导是否一致;其次通过手工样例、极端输入和维度测试,确认这个损失函数确实对应预期模型。

一个简单例子是:若把所有预测值意外乘以二,并在前向与反向中一致使用这个错误公式,梯度校验可能完全通过,但模型仍不是原来定义的模型。因此,梯度校验不能替代前向正确性测试。

此外,代码中用 reshape 将一维参数恢复为矩阵。必须确保展平顺序在取值和回写时一致。若解析梯度使用列优先顺序、数值差分使用行优先顺序,两个向量的元素位置会不一致。即使整体范数相近,逐分量检查也会显示明显错误。

九、从教学网络到深度学习框架

9.1 PyTorch 中的反向模式接口

在 PyTorch 中,张量设置 requires_grad=True 后,相关运算会被自动求导机制追踪。对于标量损失,调用 backward() 通常可以把梯度累积到叶子参数的 .grad 中。需要注意,"累积"意味着多次反向计算前通常应清空不需要保留的旧梯度;否则观察到的结果是多次计算的和,而不是单次梯度。

一个可独立理解的例子是

python 复制代码
import torch
x = torch.tensor([1.0, 2.0], requires_grad=True)
y = (x ** 2).sum()
y.backward()
print(x.grad)  # tensor([2., 4.])

这里 y = x 1 2 + x 2 2 y=x_1^2+x_2^2 y=x12+x22,因此梯度为 ( 2 x 1 , 2 x 2 ) T (2x_1,2x_2)^{\mathsf T} (2x1,2x2)T。代码示例说明基本接口行为,不代表本期 NumPy 实验依赖 PyTorch。

对于非标量输出,反向计算需要指定与输出形状匹配的种子向量,或者先构造一个标量目标。若直接把非标量张量视为标量调用反向方法,往往会遇到接口限制。这与前面 VJP 的数学定义完全一致:反向模式首先需要一个输出端伴随量。

9.2 梯度检查与高阶导数

一次反向模式得到一阶梯度;若需要 Hessian-vector product,可以对梯度的方向导数继续求导。在充分光滑的条件下,定义 Hessian H = ∇ 2 L ( θ ) H=\nabla^2L(\boldsymbol\theta) H=∇2L(θ),则

H v = d d t ∇ L ( θ + t v ) ∣ t = 0 . H\boldsymbol v=\left.\frac{d}{dt}\nabla L(\boldsymbol\theta+t\boldsymbol v)\right|_{t=0}. Hv=dtd∇L(θ+tv) t=0.

这意味着可以通过前向模式与反向模式的组合计算 Hessian-vector product,而不必显式构造 p × p p\times p p×p 的 Hessian 矩阵。对于大型网络,显式 Hessian 的存储成本通常难以接受;向量积则可以服务于曲率分析和某些二阶优化算法。

需要区分的是:高阶自动求导不自动保证数值稳定。如果一阶运算中存在不连续、极小分母、指数溢出或非光滑点,高阶结果可能更敏感。对高阶导数做有限差分验证时,还会引入额外的数值误差。

9.3 内存与重计算

反向模式通常需要访问前向计算中的某些中间量。例如 Tanh 的导数可以利用激活输出 A A A 计算 1 − A 2 1-A^2 1−A2。深层网络若保存全部中间激活,显存或内存消耗可能显著增长。梯度检查点技术通过保存部分状态、在反向阶段重新计算其余状态来减少内存占用,但会增加计算成本。

这里的核心取舍是时间与空间:保存更多前向中间量可以减少重计算,保存更少中间量则需要付出额外前向运算。它不改变链式法则的数学目标,但实现中必须保证重计算时使用一致的参数、随机状态与操作语义。

十、构建可信梯度验证的实验规范

一个可靠的梯度验证过程需要同时控制数学定义、计算状态与数值误差。首先应把目标函数写成清晰的标量形式,明确参数展平顺序、批量平均规则以及张量维度。随后用小规模、双精度、确定性数据进行逐参数中心差分;对于大型网络,则可先使用多个随机方向检查,再针对异常参数块做局部验证。

验证结果不能只给出"通过"两个字。至少应报告差分步长、误差定义、最大误差或相对误差、随机种子和数据规模。对于 ReLU 等非光滑函数,还应记录检查点是否接近分支切换边界。若某个分量在所有步长下都表现出稳定的大偏差,更值得怀疑解析梯度;若误差只在极小步长突然增大,则应优先排查浮点消去。

需要特别警惕四类问题。第一类是形状和转置错误:矩阵乘法方向写错、梯度形状虽然可广播却不对应原参数。第二类是归约错误:平均损失重复除以样本数,或者偏置梯度沿错误轴求和。第三类是状态错误:梯度没有清零、随机操作两次采样不同、训练和验证模式混用。第四类是非光滑与数值问题:差分跨越分段函数的切换点,或者使用过小步长导致消去误差。

自动求导、解析推导和数值差分各有作用。解析推导负责建立可检查的数学结构;自动求导负责高效组合局部微分规则;数值差分负责提供相对独立的局部一致性证据。三者相互补充,而不是彼此替代。

10.1 通过可解析的小函数定位错误

实际调试时,直接从大型网络开始做梯度检查并不高效。大型网络的每个参数梯度都混合了多层算子和多条路径,发现偏差之后很难迅速定位原因。更合理的顺序是先对单个算子建立能够手工验证的最小案例,再逐步组合为完整模型。

以矩阵乘法 Y = X W Y=XW Y=XW 为例,设 X ∈ R N × d X\in\mathbb R^{N\times d} X∈RN×d、 W ∈ R d × h W\in\mathbb R^{d\times h} W∈Rd×h,并令标量损失为 L = ∑ i , j Y i j L=\sum_{i,j}Y_{ij} L=∑i,jYij。因为所有输出分量对损失的偏导均为一,所以

∇ W L = X T 1 N × h , ∇ X L = 1 N × h W T . \nabla_W L=X^{\mathsf T}\boldsymbol1_{N\times h},\qquad \nabla_X L=\boldsymbol1_{N\times h}W^{\mathsf T}. ∇WL=XT1N×h,∇XL=1N×hWT.

这两个结果不需要深层链式法则即可独立计算。先检查它们的形状,再选取 N = 2 , d = 2 , h = 3 N=2,d=2,h=3 N=2,d=2,h=3 的小整数矩阵手工核对具体数值,可以快速识别转置顺序是否正确。随后再将损失替换为 L = 1 2 ∥ X W − T ∥ F 2 L=\tfrac12\|XW-T\|_F^2 L=21∥XW−T∥F2,得到

∇ W L = X T ( X W − T ) , ∇ X L = ( X W − T ) W T . \nabla_W L=X^{\mathsf T}(XW-T),\qquad \nabla_X L=(XW-T)W^{\mathsf T}. ∇WL=XT(XW−T),∇XL=(XW−T)WT.

这样就能在不涉及激活函数的情况下,分别检查矩阵乘法的反向规则与平方损失的导数。只有单算子通过后,才有必要引入激活函数、广播和多个层级。逐层增加复杂度的好处,是每次新增的潜在错误来源都比较明确。

对于元素乘法 Z = A ⊙ B Z=A\odot B Z=A⊙B,如果 A A A 与 B B B 形状完全相同,给定输出梯度 G Z G_Z GZ,有 G A = G Z ⊙ B G_A=G_Z\odot B GA=GZ⊙B 与 G B = G Z ⊙ A G_B=G_Z\odot A GB=GZ⊙A。但是如果其中一个张量通过广播参与运算,求得逐元素贡献后还需要对被扩展的维度求和。相同的局部乘积规则并不能代替形状恢复。这个细节解释了为什么许多自动求导实现错误并非来自微积分本身,而是来自张量语义。

10.2 通过参数扰动检查梯度的方向意义

梯度除了可以逐项比较,还应符合一阶局部近似。若 L L L 在当前参数处可微,则对于足够小的扰动 δ \boldsymbol\delta δ,有

L ( θ + δ ) = L ( θ ) + ∇ L ( θ ) T δ + o ( ∥ δ ∥ ) . L(\boldsymbol\theta+\boldsymbol\delta) =L(\boldsymbol\theta)+\nabla L(\boldsymbol\theta)^{\mathsf T}\boldsymbol\delta+o(\|\boldsymbol\delta\|). L(θ+δ)=L(θ)+∇L(θ)Tδ+o(∥δ∥).

因此,可以定义一阶预测残差

R ( δ ) = ∣ L ( θ + δ ) − L ( θ ) − ∇ L ( θ ) T δ ∣ . R(\boldsymbol\delta)= \left|L(\boldsymbol\theta+\boldsymbol\delta)-L(\boldsymbol\theta)-\nabla L(\boldsymbol\theta)^{\mathsf T}\boldsymbol\delta\right|. R(δ)= L(θ+δ)−L(θ)−∇L(θ)Tδ .

对于二阶连续可微且局部 Hessian 有界的函数,残差通常表现为 O ( ∥ δ ∥ 2 ) O(\|\boldsymbol\delta\|^2) O(∥δ∥2)。在双对数坐标下,如果沿固定方向缩小扰动长度,理想的二阶区间可能呈现接近二的斜率。极小扰动时仍然会受到浮点舍入影响。这个检验不仅比较导数值,还检查梯度能否解释损失的实际局部变化。

将扰动方向选为 − ∇ L -\nabla L −∇L,在梯度非零且函数可微的情况下,方向导数为

d d t L ( θ − t ∇ L ) ∣ t = 0 = − ∥ ∇ L ∥ 2 2 < 0. \left.\frac{d}{dt}L(\boldsymbol\theta-t\nabla L)\right|_{t=0} =-\|\nabla L\|_2^2<0. dtdL(θ−t∇L) t=0=−∥∇L∥22<0.

因此,负梯度在局部是下降方向。但这并不保证任意大的步长都能使损失下降;步长选择涉及目标函数的曲率和光滑性,将在优化算法部分讨论。把"负梯度局部下降"误写为"沿负梯度更新一定下降",会混淆微分性质与迭代算法的全局行为。

10.3 梯度错误的数值指纹

不同错误在实验中常呈现不同的数值特征。若所有参数的解析梯度恰好是差分结果的两倍,首先应检查损失中的 1 / 2 1/2 1/2 因子。若偏差随批量大小成比例变化,应检查平均与求和的约定。若只有偏置参数出现错误,应重点检查广播归约轴。若第一层梯度错误而第二层正确,可能是激活函数导数、隐藏层反传矩阵方向或第一层参数展平顺序有误。

如果误差随差分步长减小先下降、后上升,通常更符合截断与舍入误差共同作用的表现;如果在较宽步长区间内误差始终维持某个非零水平,则更值得怀疑解析实现。若误差在某些参数附近突然变得异常,可能是该参数扰动跨过了 ReLU、最大值或条件分支的切换边界。上述模式只是诊断线索,不是可以直接证明错误来源的定理。

值得注意的是,有限差分对函数输出精度有要求。如果损失由大量正负项相消而得,或者经过不稳定的指数与对数计算,即使使用双精度,也可能难以得到高质量的差分基准。此时应先改善前向计算的数值稳定性,例如使用稳定的 log-sum-exp 形式,而不是一味调节差分步长。数值梯度验证建立在可信的函数求值之上。

10.4 参数共享与重复使用的梯度累加

在卷积、循环网络和权重共享结构中,同一参数可能在多个位置或多个时间步重复使用。假设某个标量参数 w w w 同时出现在 z 1 = w x 1 z_1=wx_1 z1=wx1 与 z 2 = w x 2 z_2=wx_2 z2=wx2,损失为 L = ℓ ( z 1 , z 2 ) L=\ell(z_1,z_2) L=ℓ(z1,z2),则

∂ L ∂ w = ∂ L ∂ z 1 x 1 + ∂ L ∂ z 2 x 2 . \frac{\partial L}{\partial w} =\frac{\partial L}{\partial z_1}x_1+ \frac{\partial L}{\partial z_2}x_2. ∂w∂L=∂z1∂Lx1+∂z2∂Lx2.

如果只保留最后一次使用产生的梯度,就会漏掉其他路径的贡献。对于循环网络,类似的求和会跨越时间步;对于卷积网络,权重梯度会聚合多个空间位置和样本的贡献。自动求导系统需要追踪参数的全部使用关系,正确累加反向贡献。

因此,验证参数共享模型时,不能仅仅比较每次局部操作的导数,还需要检查整个图中重复使用的同一参数是否被正确归并。一个简单的单参数多路径例子,往往比直接测试复杂循环网络更容易暴露累加错误。

10.5 何时应该停止继续缩小误差阈值

梯度校验通常会设置一个容差,但容差不应该脱离数值精度、函数尺度和差分方案。双精度与单精度的舍入水平不同;损失函数值很大而梯度很小时,两个函数值相减会尤其敏感。不同参数块的自然尺度也可能差别显著。统一使用极端严格的绝对阈值,可能导致大量没有实际意义的误报。

较稳妥的做法是同时记录绝对误差、相对误差和步长扫描结果,优先判断是否存在稳定、结构化的偏差。对于能够手工求导的最小案例,可以要求较高精度;对于包含非光滑操作或复杂浮点归约的大模型,应在明确误差来源后选择合理容差。通过梯度校验的目标是发现实现不一致,而不是追求一个脱离数值环境的零误差数字。

十一、本期结论

自动求导的核心不是把一个复杂函数转换成庞大的符号表达式,而是把程序拆解为可微的基本操作,并沿指定方向组合局部导数。前向模式传播 J v J\boldsymbol v Jv,反向模式传播 J T u J^{\mathsf T}\boldsymbol u JTu。当模型拥有大量参数而目标是标量损失时,反向模式通常是计算完整梯度的合适选择。

梯度验证的核心也不是机械地要求解析梯度与差分结果完全相等,而是理解有限差分的截断误差、舍入误差、不可微点与计算状态。一次通过的梯度检查只能说明当前设置下的局部一致性,不能证明前向目标正确,也不能替代多组输入、边界情况和形状测试。

完成本期后,深度学习的数学基础与学习机制部分形成了完整的闭环:从前向计算与损失函数出发,经过计算图、链式法则、反向传播、激活函数和初始化,最终用独立的数值证据检查梯度实现。接下来讨论梯度下降及其收敛性质时,可以把"梯度是否正确"与"给定正确梯度后如何更新参数"明确区分。

参考文献

1 Baydin, A. G., Pearlmutter, B. A., Radul, A. A., & Siskind, J. M. (2018). Automatic Differentiation in Machine Learning: a Survey. Journal of Machine Learning Research, 18(153), 1--43. https://jmlr.org/papers/v18/17-468.html

2 Griewank, A., & Walther, A. (2008). Evaluating Derivatives: Principles and Techniques of Algorithmic Differentiation, 2nd ed. SIAM. https://doi.org/10.1137/1.9780898717761

3 Paszke, A., et al. (2019). PyTorch: An Imperative Style, High-Performance Deep Learning Library. Advances in Neural Information Processing Systems 32. https://arxiv.org/abs/1912.01703

4 PyTorch Documentation. Autograd mechanics. https://docs.pytorch.org/docs/stable/notes/autograd.html

5 PyTorch Documentation. torch.autograd.gradcheck. https://docs.pytorch.org/docs/stable/generated/torch.autograd.gradcheck.html

6 NumPy Documentation. numpy.gradient (finite-difference accuracy and boundary treatment). https://numpy.org/doc/stable/reference/generated/numpy.gradient.html

相关推荐
火山引擎开发者社区13 分钟前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM12327 分钟前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI28 分钟前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健1 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV1 小时前
Google 重返第一梯队
人工智能·google·aigc
十有八七2 小时前
手搓 Agent(五):学会翻书——RAG,先查资料再回答
前端·人工智能·后端
阿里云大数据AI技术2 小时前
阿里云 Milvus 场景中心|一键部署你的AI应用
人工智能
京东云开发者2 小时前
Agent 研发工作系统:面向多需求并行端到端开发的设计与实践
人工智能
IT大白鼠3 小时前
当 AI 开始自动化渗透:FBI ARTEX 警报的防守对策
运维·人工智能·自动化