标签: 深层神经网络

回顾： 　　【零基础】AI神经元解析（含实例代码） 　　【零基础】浅层神经网络解析 一、序言 　　前面我们已经完成了单神经元、浅层神经网络（2层）的解析，其中有很多没有讲透的地方我们就暂时不要理会了，比如反向传播的原理我也没看明白呢。这里我们继续下一步，解析深层的神经网络（N层），也就是真的要“深度学习”了。 　　注：本文内容主要是对“床长”的系列教程进行总结，强烈推荐“床长”的人工智能系列教程（https://www.captainbed.net/） 二、深层神经网络的构成 　　我们再回顾一下前面做的工作，一个典型的神经元构成如下： 　　1）传播函数，由输入x、偏置w、阈值b计算出a 　　2）激活函数，将a映射到0~1之间的结果y，可理解为（是、否）的概率 　　3）反向传播函数，通过y、label计算出dw、db（用以更新w和b） 　　4）损失函数，计算y与label间的误差 　　在浅层神经网络中，其实主要也是实现了这四个函数，区别只是在输入与输出间多了一层计算。以反向传播函数为例： 　　 单神经元反向传播函数： 　　 具有两层的浅层神经网络： 　　可以看到整体形式上并没有太大差别，而对于神经元层数更多的深层神经网络，其实大体上也是一样，只是我们需要用一个“循环”来处理一下可自定义的网络层数。 　　对于深层神经网络，我们在构建模型时不限制其网络层数、神经元个数，只是在使用时根据需要写上网络结构即可。下面依然是直接上代码，文末附完整代码文件下载。 　　这里我们依旧是处理前面“浅层神经网络”的问题“从图片中识别出偶数和奇数“。 三、随机初始化参数 #初始化所有层的w和b def initialize_parameters(layer_dims): 　　np.random.seed(1) 　　wGroup = {} 　　bGroup = {} 　　layer = len(layer_dims)#神经网络总共有几层 　　#逐层初始化w、b 　　for i in range(1,layer): #i的值是1 2 3 到layer-1 的标号是从0开始的，其中layer_dims 是输入层 　　　　wGroup = np.random.randn(layer_dims ,layer_dims )/np.sqrt(layer_dims ) 　　　　bGroup = np.zeros((layer_dims ,1)) 　　return wGroup,bGroup 　　layer_dims包含了每层神经元个数，如 表示是一个三层的网络，第一层5个神经元、第二层4个神经元、第三层1个神经元。注意输入层是不算一层的，但是输入层的个数又直接影响了第一层w的初始化。 　　返回值wGroup,bGroup包含了每一层初始化后的w和b 四、传播函数 #传播函数 def forward(img, wGroup, bGroup): 　　#神经网络的实际层数与参数的层数一致 　　layer = len(wGroup) 　　#除第一层神经网络的输入是img，其他层的输入都是上一层的输出 　　#除最后一层的激活函数是sigmoid，其他层的激活函数都是relu 　　caches = 　　#前L-1层使用relu作为激活函数，最后一层使用sigmoid做激活函数 　　for i in range(1,layer+1): 　　　　if i == 1: 　　　　　　IN = img 　　　　else: 　　　　　　IN = Y#IN 就是Y_prev 　　　　　　w = wGroup 　　　　　　b = bGroup 　　　　　　A = np.dot(w, IN) + b 　　　　　　#将变量数据保存起来便于后面反向计算 　　　　　　caches.append((IN,w,b,A)) 　　　　　　#下一层的输入使用激活函数转化一下 　　　　　　if i != layer: 　　　　　　　　Y = relu(A) 　　　　　　else: 　　　　　　　　Y = sigmoid(A) 　　return Y, caches 　　这里，除第一层的输入是img之外，后面都是用激活函数转化后的Y值作为输入。其中最后一层使用sigmoid作为激活函数，其他层使用relu函数（又换了个激活函数）。 　　这里的IN其实就是上一层的Y，caches里存储了IN：上一层的Y（其实就是本层的输入，第一层是img）、w：本层的权重、b：本层的偏置、A：激活前的乘积。将这些数据保存起来后面计算反向传播时用。最后还返回了最终的Y，其实就是神经网络最后的输出值。 五、反向传播函数 #反向传播 def backward(YLast,label,caches): 　　layer = len(caches) 　　label = label.reshape(YLast.shape) 　　dWGroup = {} 　　dbGroup = {} 　　Y = YLast 　　(Y_prev, W, b, A) = caches #取最后一个值 　　m = Y_prev.shape 　　#直接计算最后一层dY 　　dY = - (np.divide(label, Y) - np.divide(1 - label, 1 - Y+0.000001))#这里加上一个0.000001是为了防止1-Y=0 　　#最后一层dA dW db 　　dA = sigmoid_backward(dY, A) 　　dW = np.dot(dA, Y_prev.T) / m 　　db = np.sum(dA, axis=1, keepdims=True) / m 　　dWGroup = dW 　　dbGroup = db 　　#上一层的dY 　　dY_prev = np.dot(W.T, dA) 　　for c in reversed(range(1,layer)):#若layer=4则C =3 2 1 　　　　dY = dY_prev 　　　　(Y_prev, W, b, A) = caches #c-1 = 2 1 0，这里不好理解的是c是从1开始的，而caches是从0开始的 　　　　m = Y_prev.shape 　　　　dA = relu_backward(dY, A) 　　　　dW = np.dot(dA, Y_prev.T) / m 　　　　db = np.sum(dA, axis=1, keepdims=True) / m 　　　　#上一层的dA 　　　　dY_prev = np.dot(W.T, dA) 　　　　dWGroup = dW 　　　　dbGroup = db 　　return dWGroup,dbGroup 　　这里的反向传播其实本质上跟浅层神经网络差不多，只是我们将最后一层的反向传播单独拿出来计算（因为激活函数不同），而且又涉及到历史参数获取（之前直接作为参数传）只是看起来复杂。你可以自己尝试结合前面浅层网络做一个指定层数（比如3层）的代码编写，只有动起手来才好理解。下面是我自己写的一段帮助理解的伪代码。另外需要注意的是，这里计算dA时分别针对relu和sigmoid函数是不一样的，所以分别有relu_backward和sigmoid_backward函数。 六、梯度下降（更新w、b） #更新w、b参数 def update(wGroup, bGroup, dWGroup, dbGroup, learning_rate): 　　L = len(wGroup) 　　for i in range(1,L+1): #1-3 　　　　wGroup = wGroup - learning_rate * dWGroup 　　　　bGroup = bGroup - learning_rate * dbGroup 　　return wGroup,bGroup 七、损失函数 #损失函数 def costCAL(Y, label): 　　m = label.shape 　　cost = np.multiply(label,np.log(Y))+np.multiply(1-label, np.log(1-Y+0.000001))#这里加个很小的数是为了防止1-Y=0的情况 　　cost = -np.sum(cost)/m 　　cost = np.squeeze(cost) 　　return cost 八、预测函数 #预测函数 def predict(img,wGroup,bGroup): 　　m = img.shape 　　L = len(wGroup) 　　p = np.zeros((1,m)) 　　#向前传播做预测 　　probas,caches = forward(img, wGroup, bGroup) 　　# 将预测结果转化成0和1的形式，即大于0.5的就是1，否则就是0 　　for i in range(0, probas.shape ): 0.5: 　　　　p = 1 　　else: 　　　　p = 0 　　return p 九、训练模型并预测 #组成训练model def model(img, label, layers_dims, learning_rate=0.0075, num_iterations=3000, print_cost=False): 　　np.random.seed(1) 　　costs = wGroup,bGroup = model(train_img, train_label, layers_dims,learning_rate=0.1, num_iterations=2000, print_cost=True) # 对训练数据集进行预测 pred_train = predict(train_img,wGroup,bGroup) print("预测准确率是: " + str(np.sum((pred_train == train_label) / train_img.shape ))) # 对测试数据集进行预测 pred_test = predict(test_img,wGroup,bGroup) print("预测准确率是: " + str(np.sum((pred_test == test_label) / test_img.shape ))) 运行最后结果： 十、总结回顾 　　预测准确率较之前浅层神经网络又有了大幅的提升（之前是94%）。 　　其实从浅层神经网络开始，大部分都只是贴上代码了，有点”只可意会不可言传“的感觉，其实整体框架一直都没变，所以也不知道有啥可说的。后面我会继续花时间搞明白传播函数、反向传播函数的具体原理，到时再写深度解析的文章。 　　关注公众号“零基础爱学习”回复"AI6"可获得完整代码 。后面我们还会继续更新“传播函数、反向传播函数的具体含义”，以及各种激活函数的区别。