ResNet

论文：He et al., 2016

背景

随着网络层数加深，出现了梯度消失/爆炸以及退化问题。

核心思想：残差连接

引入恒等映射，将网络输出变为：

$$ y = F(x) + x $$

使得网络可以学习残差 $F(x) = y - x$，当 $F(x) = 0$ 时就是恒等映射。

优势

1. 缓解梯度消失：梯度可以直接通过恒等连接回传
2. 避免退化：浅层网络的解至少不会被深于网络变差
3. 训练效率高：更深的网络收敛更快

变体

• ResNet-18, ResNet-34（基本版本）
• ResNet-50, ResNet-101, ResNet-152（ Bottleneck 结构）