深度学习05ResNet残差网络

目录

传统卷积神经网络存在的问题

如何解决

批量归一化BatchNormalization, BN

残差连接方式

​残差结构

---

ResNet网络

ResNet 网络是在 2015年 由微软实验室中的何凯明等几位大神提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。

传统卷积神经网络存在的问题

神经网络都是通过卷积层和池化层的叠加组成的。 在实际的试验中发现，随着卷积层和池化层的叠加，学习效果不会逐渐变好，反而出现2个问题： 1、梯度消失和梯度爆炸 梯度消失：若每一层的误差梯度小于1，反向传播时，网络越深，梯度越趋近于0 梯度爆炸：若每一层的误差梯度大于1，反向传播时，网络越深，梯度越来越大 2、退化问题

如何解决

为了解决梯度消失或梯度爆炸问题

通过数据的预处理以及在网络中使用 BN（Batch Normalization）层来解决。

为了解决深层网络中的退化问题

人为地让神经网络某些层跳过下一层神经元的连接，隔层相连，弱化每层之间的强联系。

如图可以看到层数越多错误率越低

批量归一化BatchNormalization, BN

Batch Normalization目的：使所有的feature map满足均值为0，方差为1的分布规律

对每个传入的图片进行归一化后，将其传入卷积神经层进行处理后得到特征图，然后再对这个特征图进行归一化处理，处理完再次进入卷积层处理，输出的特征图再次进行归一化。

残差连接方式

residual结构使用了一种shortcut的连接方式，也可理解为捷径。让特征矩阵隔层相加，注意F(X)和X形状要相同，所谓相加是特征矩阵相同位置上的数字进行相加。

残差结构

ResNet一共有5种残差网络结构，18层、34层、50层、101层、152层