卷积层#

单通道的输入，通过单个卷积核，得到对应的卷积结果。

1. 需要1个卷积核$w$，初始化时，卷积核所有元素的累加值为1
2. 需要1个偏置$b$，初始化时，偏置值为0

$\begin{pmatrix} a_{11} & a_{12} & a_{13} \\\\ a_{21} & a_{22} & a_{23} \\\\ a_{31} & a_{32} & a_{33} \end{pmatrix} * \begin{pmatrix} w_{11} & w_{12} \\\\ w_{21} & w_{22} \end{pmatrix} + b = \begin{pmatrix} z_{11} & z_{12} \\\\ z_{21} & z_{22} \end{pmatrix}$

$\begin{aligned} z_{11} & = a_{11}w_{11} + a_{12}w_{12} + a_{21}w_{21} + a_{22}w_{22} + b \\\\ z_{12} & = a_{12}w_{11} + a_{13}w_{12} + a_{22}w_{21} + a_{23}w_{22} + b \\\\ z_{21} & = a_{21}w_{11} + a_{22}w_{12} + a_{31}w_{21} + a_{32}w_{22} + b \\\\ z_{22} & = a_{22}w_{11} + a_{23}w_{12} + a_{32}w_{21} + a_{33}w_{22} + b \end{aligned}$

输入多通道，通过多维卷积核，输出单通道，方法类似：$\sum aw + b = z$ 初始化时，多维卷积核的累加值依旧为1，同时依旧只有1个偏置，不随维度变化 $*$ 表示卷积

池化层#

池化层的操作方法和卷积差不多，就是通过权重矩阵在输入上进行滑动，并将每次滑动所取的矩阵和权重矩阵相乘并累加获得最后结果。只是池化层的滑动步长一般与池化核的尺寸一致，而卷积层的滑动步长一般要小于卷积核（常取1）。

平均池化 就是池化核累加值为1，并且池化核内所有元素相等。

最大池化 就是池化核在输入上滑动时，当前窗口中最大的值。

池化层本身是可以进行反向传播并更新权重的，但平均池化和最大池化都属于其中特殊的方法，无需更新权重。

平均池化⁵#

该种类型的池化层是取运算窗口中的所有值的均值作为最后运算的结果，可以表示为：

最大池化#

该种类型的池化层是取运算窗口中的最大值作为最后运算的结果，可以表示为：

张量扁平化⁶#

张量扁平化 是将输出矩阵视作多维张量，然后按一定的规律重新排列为一维张量，常见 CNN 的输入有4维，分别是 批处理、通道、高度、宽度，扁平化的排列顺序也如此。

$\begin{pmatrix} a_{11} & a_{12}\\\\ a_{21} & a_{22} \end{pmatrix} =>\begin{pmatrix} a_{11},a_{12},a_{21},a_{22} \end {pmatrix}$

全连接层 ⇦ 全连接层#

回顾一下 ANN/DNN 的反向传播，在我所搭建的测试网络中，最后3层网络都是通过全连接实现的。

首先是确认 CNN 的预测值与实际值之间的损失（误差），这也是 F7/OUTPUT 与实际值之间的损失，使用L2Loss获取最终损失：

$\delta = \frac{\partial{e}}{\partial{\hat{y}}} = \hat{y} - y$

利用链式求导和数学归纳法，使用 $\delta^{l+1}$ 逐步计算出上一层$l$对实际值的损失$\delta^{l}$：

$\delta^{l} = \frac{\partial{\delta}}{\partial{z^l}} = \frac{\partial{\delta}}{\partial{z^{l+1}}} \times \frac{\partial{z^{l+1}}}{\partial{z^{l}}} = (\frac{\partial{z^{l+1}}}{\partial{z^l}})^T\delta^{l+1} = (w^{l+1})^T\delta^{l+1}$

如果有激活函数$\sigma$则是：

$\delta^{l} = (w^{l+1})^T\delta^{l+1} ⊙ \sigma'(a^{l})$

其中：$z^l$是当前层输出（净输入），$z^{l+1}$是下一层输出，$a^l$是当前层经过激活的输出

有了当前层的输出损失$\delta^l$后，开始计算$w$、$b$的梯度表达式：

$\delta^l_w = \frac{\partial{\delta}}{\partial{w^l}} = \frac{\partial{\delta}}{\partial{z^l}} \times \frac{\partial{z^l}}{\partial{w^l}} = \delta^l (a^{l-1})^T$

$\delta^l_b = \frac{\partial{\delta}}{\partial{b^l}} = \frac{\partial{\delta}}{\partial{z^l}} \times \frac{\partial{z^l}}{\partial{b^l}} = \delta^l$

其中：$z^l$是当前层输出（净输入），$a^{l-1}$是上一层经过激活的输出（当前层的输入）

有了$w$、$b$梯度表达式，就可以用梯度下降法来优化$w$、$b$,求出最终的所有$w$、$b$的值。

卷积/池化层 ⇦ 全连接层#

逆扁平化，在我搭建的测试网络中的前向传播中，S4(9@5x5)到F5(120)之间通过扁平化，将三维张量扁平化为一维张量。

在 F5 到 S4 的反向传播过程中，求得的 S4 的输出损失是长度为225的一维张量，需要按照扁平化的顺序，将这225个梯度值转到三维张量（9@5x5）。

由于这里使用了 张量扁平化，$\delta$、$w$、$b$的梯度表达式按 全连接层 ⇦ 全连接层 进行求取即可。

隐藏层 ⇦ 池化层，求隐藏层输出的损失#

隐藏层 ⇦ 卷积层，求隐藏层输出的损失#

隐藏层的输出（卷积层的输入）为$a^{l-1}$(3x3)：

$a^{l-1} = \begin{pmatrix} a_{11} & a_{12} & a_{13} \\\\ a_{21} & a_{22} & a_{23} \\\\ a_{31} & a_{32} & a_{33} \end{pmatrix}$

卷积层输出的损失为$\delta^{l-1}$(3x3)：

$\delta^{l-1} = \begin{pmatrix} \nabla a_{11} & \nabla a_{12} & \nabla a_{13} \\\\ \nabla a_{21} & \nabla a_{22} & \nabla a_{23} \\\\ \nabla a_{31} & \nabla a_{32} & \nabla a_{33} \end{pmatrix}$

卷积层的输出为 $a^l$(2x2)：

$a^{l} = \begin{pmatrix} z_{11} & z_{12} \\\\ z_{21} & z_{22} \end{pmatrix}$

卷积核为$w^l$(2x2)：

$w^l = \begin{pmatrix} w_{11} & w_{12} \\\\ w_{21} & w_{22} \end{pmatrix}$

卷积层输出的损失为$\delta^{l}$(2x2)：

$\delta^{l} = \begin{pmatrix} \delta_{11} & \delta_{12} \\\\ \delta_{21} & \delta_{22} \end{pmatrix}$

这里假设卷积层的前向传播过程如下：

$\begin{pmatrix} a_{11} & a_{12} & a_{13} \\\\ a_{21} & a_{22} & a_{23} \\\\ a_{31} & a_{32} & a_{33} \end{pmatrix} * \begin{pmatrix} w_{11} & w_{12} \\\\ w_{21} & w_{22} \end{pmatrix} = \begin{pmatrix} z_{11} & z_{12} \\\\ z_{21} & z_{22} \end{pmatrix}$

$\begin{aligned} z_{11} & = a_{11}w_{11} + a_{12}w_{12} + a_{21}w_{21} + a_{22}w_{22} \\\\ z_{12} & = a_{12}w_{11} + a_{13}w_{12} + a_{22}w_{21} + a_{23}w_{22} \\\\ z_{21} & = a_{21}w_{11} + a_{22}w_{12} + a_{31}w_{21} + a_{32}w_{22} \\\\ z_{22} & = a_{22}w_{11} + a_{23}w_{12} + a_{32}w_{21} + a_{33}w_{22} \end{aligned}$

对于$a_{11}$的梯度，由于在4个等式中$a_{11}$只和$z_{11}$有乘积关系，从而我们有：

$\nabla a_{11} = \delta_{11}w_{11}$

对于$a_{12}$的梯度，由于在4个等式中$a_{12}$和$z_{11}$、$z_{12}$都有乘积关系，从而我们有：

$\nabla a_{12} = \delta_{11}w_{12} + \delta_{12}w_{11}$

依次类推，得到隐藏层输出损失张量中的所有元素：

$\begin{aligned} \nabla a_{13} &= \delta_{12}w_{12} \\\\ \nabla a_{21} &= \delta_{11}w_{21} + \delta_{21}w_{11} \\\\ \nabla a_{22} &= \delta_{11}w_{22} + \delta_{12}w_{21} + \delta_{21}w_{12} + \delta_{22}w_{11} \\\\ \nabla a_{23} &= \delta_{12}w_{22} + \delta_{22}w_{12} \\\\ \nabla a_{31} &= \delta_{21}w_{21} \\\\ \nabla a_{32} &= \delta_{21}w_{22} + \delta_{22}w_{21} \\\\ \nabla a_{33} &= \delta_{22}w_{22} \end{aligned}$

这里还找到了一个简化的描述¹¹，通过卷积的方法进行表示（该卷积层在前向传播时是激活过的）：

$\delta^{l-1} = \frac{\partial{\delta}}{\partial{z^{l-1}}} = \delta^{l}*rot180(w^{l}) ⊙ \sigma{'}(a^{l})$

$\begin{pmatrix} 0 & 0 & 0 & 0 \\\\ 0 & \delta_{11} & \delta_{12} & 0 \\\\ 0 & \delta_{21} & \delta_{22} & 0 \\\\ 0 & 0 & 0 & 0 \end{pmatrix} * \begin{pmatrix} w_{22} & w_{21} \\\\ w_{12} & w_{11} \end{pmatrix} = \begin{pmatrix} \nabla a_{11} & \nabla a_{12} & \nabla a_{13} \\\\ \nabla a_{21} & \nabla a_{22} & \nabla a_{23} \\\\ \nabla a_{31} & \nabla a_{32} & \nabla a_{33} \end{pmatrix}$

为了进行梯度计算，需要对当前卷积层输出的损失进行 0填充，填充至 4x4，然后将翻转180度的卷积核与损失张量进行卷积，得到前一层输出的损失张量。

求隐藏层$w$、$b$的梯度#

沿用上面求隐藏层输出的损失的例子，在获取输出损失后，求该层权重、偏置的梯度。

注意到卷积层输出$z$和$w$、$b$的关系为：

$z^l = a^{l-1}*w^l + b$

由此我们得到：

$\delta^l_w = a^{l-1} * \delta^l$

注意到此时卷积核并没有反转，主要是此时是层内的求导，而不是反向传播到上一层的求导。具体过程我们可以分析一下。

沿用上面的例子，为了方便，忽略两层间的大小关系，当前隐藏的卷积过程如下：

$\begin{pmatrix} a_{11} & a_{12} & a_{13} \\\\ a_{21} & a_{22} & a_{23} \\\\ a_{31} & a_{32} & a_{33} \end{pmatrix} * \begin{pmatrix} w_{11} & w_{12} \\\\ w_{21} & w_{22} \end{pmatrix} = \begin{pmatrix} z_{11} & z_{12} \\\\ z_{21} & z_{22} \end{pmatrix}$

已经获得了当前隐藏层输出的损失$\delta^l$，求该隐藏层输出损失对权重和偏置的导数。

假设，$l$是层，$i$、$j$分别是输出矩阵的行列，$p$、$q$分别是权重矩阵的行列，卷积核$w$的导数可以表示如下：

$\delta^l_w (p,q) = \sum_{i} \sum_{j} (\delta^l_{ij}a^{l-1}_{i+p,j+q})$

由此得到如下等式：

$\begin{aligned} \delta^l_w(1,1) & = a_{11}\delta_{11} + a_{12}\delta_{12} + a_{21}\delta_{21} + a_{22}\delta_{22} \\\\ \delta^l_w(1,2) & = a_{12}\delta_{11} + a_{13}\delta_{12} + a_{22}\delta_{21} + a_{23}\delta_{22} \\\\ \delta^l_w(2,1) & = a_{21}\delta_{11} + a_{22}\delta_{12} + a_{31}\delta_{21} + a_{32}\delta_{22} \\\\ \delta^l_w(2,2) & = a_{22}\delta_{11} + a_{23}\delta_{12} + a_{32}\delta_{21} + a_{33}\delta_{22} \end{aligned}$

归纳总结上面的式子后，得到：

$\delta^l_w = \begin{pmatrix} a_{11} & a_{12} & a_{13} \\\\ a_{21} & a_{22} & a_{23} \\\\ a_{31} & a_{32} & a_{33} \end{pmatrix} * \begin{pmatrix} \delta_{11} & \delta_{12} \\\\ \delta_{21} & \delta_{22} \end{pmatrix}$

对于卷积层的偏置$\delta^l_b$的求法，与 ANN/DNN 不同，无法直接使其等于 $\delta^l$，但由于每个卷积核仅有1个偏置（无论卷积核的通道数量），因此可以求得对于某个卷积核的偏置$\delta^l_b$就等于该卷积核卷积后输出损失的累加，其中$i$、$j$分别是输出损失的行与列：

$\delta^l_b = \sum_i \sum_j \delta^l_{ij}$