数值逼近
为了对梯度进行检验，需要计算近似误差值来接近梯度
对于单边误差和双边误差公式，其中双边误差与真实梯度相差更小，故一般采用双边误差公式
双边误差
公式：
梯度检验(gradient checking)
对于成本函数，求出
的导数，计算出双边误差
，再将两者进行比较
比较方法：
，判断
的大小
若
，则误差很小，效果很好
若
，则误差一般，效果一般
若
，则误差较大，需要考虑是否错误较多
梯度检验的注意事项
不要在训练中使用梯度检验，它只适用于调试
梯度检验的计算时间较长，且通常在backprop后向传播中进行
当梯度检验得出偏差过大时，要对所有参数进行检查
使用正则化时，要记住在梯度检验中保留正则项
不要在梯度检验的过程中使用dropout在每次迭代过程中，dropout会随机消除隐层单元的不同子集，J函数难以明确计算