梯度消失英文

优点：                 ①能将输出限制在（0,1）之间，便于完成分类任务；         缺点：                 ①非零中心：输出值不是以零为中心，从而随着前向传播很可能导致后面的神经元的输出要么全为正数，要么全为负数，最终导致梯度下降时出现Z字型下降；                 ②梯度饱和、梯度消失：sigmod函数的两侧形状趋近于水平，梯度逐渐无穷接近于0，这些地方就会出现梯度饱和，导致梯度始终很小，无法让权重集发生有效的改变；而sigmod函数的导数的输出值区间为（0，0.25），随着神经网络层数增加，在反向传播中，梯度值不断地乘1个小于1/4的数，会让梯度逐渐变得逐渐趋近于0，同样无法让权重集发生有效的改变。                 ③非线性：sigmod的函数表达式是包含了指数运算，在计算时消耗资源更多。         优点：                 ①能将输出限制在（-1,1）之间，便于完成分类任务；                 ②零中心         缺点：                 ①梯度饱和、梯度消失                 ②非线性         优点：                 ①线性：解决计算资源，缩短收敛时间         缺点：                 ①单元死亡：ReLU函数的左侧是完全水平的，当神经元z值为负值时，输出α值为0，梯度也为0，无法通过梯度改变权重值w，w值固定不变，称之为“ReLU单元死亡”         优点：                 ①线性：                 ②梯度不饱和，无单元死亡： （可以视为ReLU、Leaky ReLU的一般化，增加单元参数来引入比较值）         优点：                 ①线性：                 ②梯度不饱和         缺点：                 ①参数量倍增：由于引入了新单元来做比较值，导致参数量增加，消耗计算资源。排除sigmod选择，优先选择ReLU；如果遇到棘手的“单元死亡”问题，则使用Leaky ReLU或者Maxout。 tanh可以尝试使用，但效果应该会比ReLU、Leaky ReLU和Maxout差一些。