找回密码
 注nanjixiong2017册

QQ登录

只需一步,快速开始

发表帖子

bp算法推导过程

[复制链接]

BP过程主要是为了学习网络.首先我们要知道我们这个学习的过程要更新的每一层的w的权值.


整个的卷积神经网络其实可以理解成一个卷积+一个激活+........+一个卷积+一个激活. 每一个都相当于一次函数操作.

即  一个复合函数.




我们既然要求每一层的w的变化量,也就要求损失对每个一个w的偏导,用到了复合函数链式求导法则.

我们对一个三层的网络进行分析.




推导过程如下:




也就是我们在每层肯定要计算损失函数对w的偏导\theta J/ \theta w,并且还要计算损失函数对每一层输入的偏导\theta J/ \theta y,因为再计算前面一层的w的偏导的时候要用到.


经过推导对于输入的求导与该节点的敏感度有关系,所以在每个节点还要计算该节点的敏感度.

转自tjusxh

使用道具 举报 回复
您需要登录后才可以回帖 登录 | 注nanjixiong2017册

本版积分规则