激活函数
发布于 16天前 作者 andy 来自分享

激活函数的目的:给输出做一个非线性的变换,使模型的表达能力由简单的线性变成复杂的非线性

单级sigmoid(函数的形状由lamda决定)(二分类问题)

双极sigmoid(函数的形状由lamda决定)

softmax(多分类问题)

tanh  

relu

阶跃函数

Adaline(相当于对输入没做任何改变)

深度神经网络中最常用的就是relu函数作为激活函数,解决了sigmoid函数会造成的梯度消失和梯度爆炸的现象(虽然梯度爆炸时可以用gradient_clipping梯度裁剪来把梯度限定在一个较小的范围内)


回到顶部