分类问题
发布于 16天前 作者 andy 来自分享

分类问题涉及的知识点:

反向传播算法back propagation (Hinton的伟大贡献之一),使得神经网络可以由forward step之后再把误差反向传播到初始权重

梯度下降 gradient decent

链式法则 chai rule

交叉熵损失 cross entropy loss    -Σyc*logpc

sigmoid  softmax

全连接层 full connected layer

模型大致流程:

输入input---全连接层(w权重,线性层)---输出分类(二分类/多分类)---激活函数层(sigmoid/softmax做非线性转换)---交叉熵损失---反向传播+梯降更新全连接层的权重参数w(w是一个矩阵)

二分类的激活函数:sigmoid

多分类的激活函数:softmax 作用是把全连接层的线性输出转换为0-1之间的“概率”值,这些值的和为1,“放大”这些输出之间的差距,例如3,5,9---->0.05, 0.15, 0.8

回到顶部