刚学习深度学习的时候，在网上曾经看过很多资料，始终搞不懂，为什么大家都说神经网络为什么能够无限逼近任意连续函数。大家普遍认为，理论上只要神经元足够多，神经网络足够大，就可以实现
后来知乎有个人写了偏文章解释了一下，有兴趣的可以移步这里：https://zhuanlan.zhihu.com/p/25590725
我困惑的根源在于：
- 神经网络说白了就是一个矩阵，神经元之间的链接就是各种矩阵运算
- 有很多激活函数是“线性”的，比如ReLU及其各种变种
当然，有些人认为ReLU是非线性激活函数，其实也没有错。但是我个人理解，叫分段线性函数，更合适一些。
那么问题来了，如果一个神经网络中，全部使用线性单元，无论经过多少次矩阵运算，最终训练出来的网络，不还是一个线性函数吗？