全连接层，是在常见的CNN结构中，多个卷积层和池化层后通常连接着一个或多个全连接层。卷积层和池化层用于获取样本图像的特征空间，全连接层对特征进行分类。全连接层采用传统神经网络的连接方式，保留特征的权重偏置。每个节点与上一层所有节点相连，对提取的特征加权。由于全连接特性，其参数最多。卷积也可实现全连接层，当前层为卷积层时，可采用全局卷积表示。其中，h和w表示前层卷积输出特征图的高和宽。

前向传播

下面图1用一个简单的网络具体介绍一下推导过程：

其中，、、为全连接层的输入，、、为输出，

卷积神经网络

在CNN结构中，经多个卷积层和池化层后，连接着1个或1个以上的全连接层。与MLP类似，全连接层中的每个神经元与其前一层的所有神经元进行全连接。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。为了提升CNN网络性能，全连接层每个神经元的激励函数一般采用ReLU函数。最后一层全连接层的输出值被传递给一个输出，可以采用softmax逻辑回归（softmax regression）进行分类，该层也可称为softmax层（softmax layer）。对于一个具体的分类任务，选择一个合适的损失函数是十分重要的，CNN几种常用的损失函数并分析了它们各自的特点。通常，CNN的全连接层与MLP结构一样，CNN的训练算法也多采用BP算法。

参考资料

卷积神经网络研究综述.中国知网.2018-06-25