论文原址：https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

无论是AI、深度学习，还是卷积神经网络，都不是这几年才有的概念，但确实是最近10年才流行起来。这里最主要的原因，还是要归功于AlexNet 2012年在大规模视觉识别挑战赛上取得的成功，所以才有了这篇论文

在这篇论文里面，AlexNet 提出了很多创新性的 idea，对卷积神经网络的发展影响深远，其中很多概念仍然是今天 CNN 的核心

论文的特点：

1. AlexNet 包含许多心的不同寻常的特性，这些特性提高了神经网络的性能并减少了训练时间
2. 提出 Dropout 解决过拟合的问题

下面我们再详细看下

不同寻常的网络特性

1. 非饱和神经元 ReLU

使用 ReLU 的四层卷积神经网络在 CIFAR-10 数据集上达到 25% 的训练误差比使用 tanh 神经元的等价网络（虚线）快 6 倍。为了使训练尽可能快，每个网络的学习率是单独选择的。没有采用任何类型的正则化。影响的大小随着网络结构的变化而变化，这一点已得到证实，但使用 ReLU 的网络都比等价的饱和神经元快几倍。

论文里有一片引用论文：https://www.cs.toronto.edu/~fritz/absps/reluICML.pdf

可以参考下

论文原址：https://arxiv.org/pdf/1311.2901.pdf

1. 背景

我们都知道 CNN 卷积神经网络 效果好，但是一直以来都是一个黑盒，有2个关键问题：

1. However there is no clear understanding of why they perform so wel
2. or how they might be improved

其实包括我自己也是很困惑的，卷积神经网络有非常多。但是你看网上的资源来来回回都是在讲这些神经网络的结构。但是很少人知道为什么要把结构设计成这个样子。比如LeNet-5第一层卷积层为啥需要6个通道？为什么整个网络只需要2个卷积层，能不能更多或者更少？

为了解决这个黑盒问题，论文作者提出了一种可视化的方法，能够观测到卷积层的feature maps到底识别到了图片的什么特征，并以此反馈来改进神经网络的结构设计。最后通过这个方法，作者在ImageNet测试集上取得了非常突出的结果

2. 方法

论文的核心思想：map these activities back to the input pixel space, showing what input pattern originally caused a given activation in the feature maps

以LeNet-5这种经典的2D网络为例，正向的卷积过程一般包括几个步骤：

1. filter
2. relu
3. max pooling
4. 【optionally】local contrast operation