卷积神经网络论文乱象

问：卷积神经网络解决了bp算法的梯度弥散问题了么

1. 答：从理论上说，并没有。
   梯度弥散的问题很大程度上是来源于激活函数的“饱和”。因为在后向传播的过程中仍然需要计算激活函数的导数，所以一旦卷积核的输出落入函数的饱和区，它的梯度将变得非常小。但是Hinton教授提出的在CNN中使用ReLu作为激活函数很好地“改善”了这个问题，Relu的定义决定了它在正向区域内不会饱和。
   目前在我接触的近几年的论文中很少有去讨论CNN中的梯度弥散问题，可能是因为ReLu在工程角度上大幅度改善了这个问题，所以也就不是很受关注。但是可以肯定的是，从理论层面上论证梯度弥散已被解决的论文是没有的。
   关于CNN中ReLu和Dropout的使用请参考Hinton教授学生的大作： Classification with Deep Convolutional works。链接：

问：cnn 卷积神经网络论文多伦多大学

1. 答：作为一个北美地区少数尚存的书院联邦制大学（类似于牛津大学），除常规架构外，多伦多大学目前下属有12所本科书院，各有不同的历史和特点，享有较大程度的独立财务和管理权，在市中心的主校园外，多伦多大学还有多伦多大学世嘉堡校区与多伦多大学密西沙校区两个卫星校园。