标签: Adam

一、序言 　　Adam是神经网络优化的另一种方法，有点类似上一篇中的“动量梯度下降”，实际上是先提出了RMSprop（类似动量梯度下降的优化算法），而后结合RMSprop和动量梯度下降整出了Adam，所以这里我们先由动量梯度下降引申出RMSprop，最后再介绍Adam。不过，由于RMSprop、Adam什么的，真的太难理解了，我就只说实现不说原理了。 二、RMSprop 　　先回顾一下动量梯度下降中的“指数加权平均”公式： 　　vDW1 = beta*vDW0 + (1-beta)*dw1 　　vDb1 = beta*vDb0 + (1-beta)*db1 　　动量梯度下降： 　　W = W -learning_rate*vDW 　　b = b -learning_rate*vDb 　　简而言之就是在更新W和b时不使用dw和db，而是使用其“指数加权平均”的值。 　　RMSprop只是做了一点微小的改变，为了便于区分将v改成s： 　　sDW1= beta*sDW0 + (1-beta)*dw1^2 　　sDb1 =beta*sDb0 + (1-beta)*db1^2 　　RMSprop梯度下降，其中sqrt是开平方根的意思: 　　W = W -learning_rate*(dw/sqrt(sDW)) 　　b = b-learning_rate*(db/sqrt(sDb)) 　　需要注意的是，无论是dw^2还是sqrt(sDW)都是矩阵内部元素的平方或开根。 三、Adam 　　Adam是结合动量梯度下降和RMSprop的混合体，先按动量梯度下降算出vDW、vDb 　　vDW1 = betaV*vDW0 + (1-beta)*dw1 　　vDb1 = betaV*vDb0 + (1-beta)*db1 　　然后按RMSprop算出sDW、sDb： 　　sDW1= betaS*sDW0 + (1-beta)*dw1^2 　　sDb1 =betaS*sDb0 + (1-beta)*db1^2 　　最后Adam的梯度下降是结合了v和s： 　　W = W -learning_rate*( vDW/sqrt(sDW) ) 　　b = b -learning_rate*( vDb/sqrt(sDb) ) 　　我们来看下最终实现后的效果： 　　是的，你没有看错。。。只需要100次训练，就比以前2000次训练的效果还要好！看到这个结果其实我也很震惊，反复查了几遍。 　　不过使用Adam优化后的神经网络一定要注意learning_rate的设置，我这里改成了0.01（之前一直是0.1，多次试错后才发现是这个问题）否则会发生梯度消失（表现为dw等于0）。 四、回顾 　　本篇是在mini_batch的基础上，结合动量梯度下降、RMSprop做的Adam梯度下降，其目的与mini_batch、动量梯度下降一样，都是使神经网络可以更快找到最优解，不得不说Adam实在太给力了。 完整的实现代码请关注公众号“零基础爱学习”回复“AI13”获取。