论文原址：https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
无论是AI、深度学习，还是卷积神经网络，都不是这几年才有的概念，但确实是最近10年才流行起来。这里最主要的原因，还是要归功于AlexNet 2012年在大规模视觉识别挑战赛上取得的成功，所以才有了这篇论文
在这篇论文里面，AlexNet 提出了很多创新性的 idea，对卷积神经网络的发展影响深远，其中很多概念仍然是今天 CNN 的核心
论文的特点：
- AlexNet 包含许多心的不同寻常的特性，这些特性提高了神经网络的性能并减少了训练时间
- 提出 Dropout 解决过拟合的问题
下面我们再详细看下
不同寻常的网络特性
1. 非饱和神经元 ReLU
使用 ReLU 的四层卷积神经网络在 CIFAR-10 数据集上达到 25% 的训练误差比使用 tanh 神经元的等价网络（虚线）快 6 倍。为了使训练尽可能快，每个网络的学习率是单独选择的。没有采用任何类型的正则化。影响的大小随着网络结构的变化而变化，这一点已得到证实，但使用 ReLU 的网络都比等价的饱和神经元快几倍。
论文里有一片引用论文：https://www.cs.toronto.edu/~fritz/absps/reluICML.pdf
可以参考下